LLM 배포를 위한 소프트웨어

# SDK 설치
$ pip install tesser-sdk

# 모델 컴파일 (FP8)
$ tesser compile Qwen/Qwen3-32B \
    --precision fp8 --device rigel

from tesser import Runtime, compile

model = compile("Qwen/Qwen3-32B", precision="fp8")
rt = Runtime(model, device="rigel:0")

for tok in rt.generate(prompt, max_tokens=512):
    print(tok, end="")

컴파일러

프레임워크 그래프를 스트리밍 스케줄로 변환하고 커널을 자동 융합합니다.

런타임 · 서빙

연속 배칭과 KV 캐시 관리로 동시성은 높게, 지연은 낮게 유지합니다.

양자화

정확도 손실을 최소한으로 줄여 FP8·INT8/4 양자화를 적용합니다.

오케스트레이션

멀티 카드·멀티 노드 스케줄링과 관측성 도구를 기본 제공합니다.

설치

pip 한 줄로 SDK와 런타임을 설치합니다. Linux x86-64를 지원합니다.

컴파일

모델과 정밀도만 정하면 스트리밍 스케줄로 변환됩니다.

서빙

런타임을 띄우고 토큰을 스트리밍합니다. OpenAI 호환 API를 제공합니다.