I-DLM, 기존 모델 대비 2.9~4.1배 빠른 속도!

I-DLM은 SGLang을 통해 기존 AR 모델과 동일한 인프라에서 사용할 수 있도록 설계되었다. 엄격한 인과적 주의(Strict Causal Attention)를 사용하여 별도의 인프라 없이 SGLang에 직접 통합할 수 있으며, Paged KV 캐시(Paged KV Cache) 및 연속 배치(Continuous Batching) 등의 기술을 통해 추가적인 성능 향상을 얻을 수 있다. 또한, LoRA 어댑터를 통해 비트 단위(Bit-for-bit) 무손실 가속(Lossless Acceleration)을 지원하여, 기존 AR 모델과 동일한 결과를 유지하면서 속도를 향상시킬 수 있다.

커뮤니티에서는 I-DLM의 획기적인 성능 향상에 대해 긍정적인 반응을 보이고 있다. 특히, SGLang과의 통합 및 LoRA 어댑터(Adapter)를 통한 무손실 가속 기능에 대한 관심이 높다. 댓글에서는 I-DLM의 실제 사용 경험과 vLLM(Very Large Language Model) 등 다른 프레임워크와의 통합 가능성에 대한 질문이 이어졌다. I-DLM의 등장은 확산 모델의 성능 한계를 극복하고, 언어 모델(Language Model) 분야의 새로운 가능성을 제시할 것으로 기대된다.