추론에 필요한 것만, 낭비 없이
01
스트리밍 실행
연산을 텐서 흐름으로 이어붙여 데이터 재적재와 유휴 사이클을 제거합니다.
02
결정적 지연
스케줄이 컴파일 단계에서 정해져 지연시간이 일정합니다.
03
개방형 컴파일
표준 프레임워크 그래프를 그대로 스트리밍 스케줄로 변환합니다.
데이터가 멈추지 않고 흐릅니다
HBM3에서 읽어온 텐서는 온칩 SRAM을 거쳐 컴퓨트 패브릭을 연속으로 통과합니다. 중간 결과를 외부 메모리로 되돌리지 않아 대역폭 병목이 사라집니다.
스케줄러가 모든 타일의 실행 순서를 미리 확정해, 런타임 흔들림 없이 처리량이 일정합니다.
HBM3 스택 A
HBM3 스택 B
↓ 1.5 TB/s ↓
온칩 SRAM · 256 MB
Streaming Fabric
결정적 스케줄러
왜 스트리밍인가
기존 · 행렬곱 중심
—연산마다 중간 결과를 외부 메모리로 되돌림
—데이터 재적재로 인한 유휴 사이클 발생
—대역폭 병목이 실효 처리량을 제한
TSF · 텐서 스트리밍
—연산을 연속 흐름으로 이어붙여 재적재 최소화
—온칩 SRAM 경유로 유휴 사이클 제거
—HBM3 대역폭을 포화시켜 실효 처리량 극대화
설계 원리
01
결정적 실행
타일 실행 순서를 미리 확정해 지연시간이 일정합니다. 운영 SLA를 잡기 쉽습니다.
02
대역폭 활용
HBM3 대역폭을 꽉 채워, 큰 배치와 긴 컨텍스트에서도 처리량이 무너지지 않습니다.
03
컴파일러 협업
PyTorch·Hugging Face 그래프를 스트리밍 스케줄로 바꿔, 코드 수정 없이 최적화합니다.
04
선형 확장
카드 간 P2P로 대형 모델을 여러 RIGEL에 나눠 거의 선형으로 확장합니다.
512TFLOPS
추론 연산 (FP8)
1.5TB/s
메모리 대역폭
256MB
온칩 SRAM
2×
HBM3 스택
