LLM을 칩에 직접 '프린팅', 17,000 토큰/초의 혁신

Taalas는 LLM의 가중치를 칩 내부에 물리적으로 '각인(Engrave)'하는 방식으로, 메모리 대역폭 병목 현상(Memory Bandwidth Bottleneck)을 해결했다. 즉, 모델의 가중치를 트랜지스터로 구현하여 데이터가 칩 내부의 물리적 연결을 통해 순차적으로 흐르도록 설계했다. 이러한 방식은 GPU의 VRAM 접근에 따른 지연 시간을 제거하여, 추론 속도(Inference Speed)를 획기적으로 향상시키는 결과를 가져왔다.

Taalas는 GPU 기반 시스템 대비 10배 빠른 추론 속도와 10배 저렴한 소유 비용을 주장한다. 이는 ASIC 칩의 특성상 특정 모델에 최적화된 설계를 통해 불필요한 연산을 줄이고, 전력 소비를 최소화할 수 있기 때문이다. 하지만, 모델 변경 시 칩을 재설계해야 하는 단점이 존재하며, 이는 유연성(Flexibility) 측면에서 GPU에 비해 불리하게 작용할 수 있다.

Taalas는 4비트 데이터로 곱셈 연산을 수행하는 '매직 멀티플라이어'를 개발하여, 단일 트랜지스터(Single Transistor)로 연산을 수행하는 기술을 구현했다. 이는 칩 내부의 트랜지스터 밀도를 높이고, 전력 효율성을 극대화하는 데 기여했다. 또한, 3비트 계수를 활용한 블록 양자화(Block Quantization)를 통해 메모리 사용량을 줄이고, 성능을 최적화했다.

커뮤니티에서는 Taalas의 기술이 하드웨어 기반 LLM 추론의 미래를 제시한다고 평가하며, 애플과 같은 대형 기업의 참여 가능성에 대한 기대감을 표명했다. 하지만, MoE(Mixture of Experts) 아키텍처와 같은 복잡한 모델에 대한 적용 가능성, 그리고 칩 설계 및 제조 비용(Chip Design and Manufacturing Cost)에 대한 우려도 제기되었다. 또한, 저지연(Low Latency) 성능을 위한 추가 벤치마크에 대한 요구도 있었다.