DLM, AWS에서 프로덕션 검증하기

확산 언어 모델(DLM)은 토큰 묶음(캔버스)을 병렬로 생성 후 디노이징(denoising)하는 방식으로, 메모리 대역폭(Memory Bandwidth) 병목을 가진 AR 모델과 달리 연산(Compute) 중심으로 동작하여 단일 사용자 응답 지연 시간을 단축합니다. DiffusionGemma와 같은 이산(discrete) DLM은 AR과 확산 모델의 하이브리드 형태로, 블록 단위 확산과 블록 간 AR 방식을 결합해 속도와 안정성을 동시에 추구합니다. 반면 AR 모델은 토큰을 순차적으로 생성하며, 프리필(Prefill) 단계는 연산(compute-bound), 디코드(Decode) 단계는 메모리 대역폭(memory-bound)에 영향을 받습니다. DLM은 이러한 병목 지점을 연산 중심으로 이동시켜 전체적인 응답 속도 개선을 목표로 합니다.

작은 모델에 특정 도메인 지식을 주입하기 위해 그래프 기반 RAG(GraphRAG)를 활용했습니다. 단순 트리플 저장 방식은 신호 밀도(Signal Density)가 6%에 불과해 응답 품질 저하를 야기했지만, 타입(type)이 있는 그래프 구조와 하이브리드 검색(그래프+벡터)을 통해 핵심 사실(Key Facts)의 신호 밀도를 높였습니다. 초기 DLM의 사실 정밀도가 AR보다 최대 10% 낮았으나, 데이터 파이프라인 개선 후 AR(0.983)과 DLM(0.975)의 격차가 줄었고, 그래프 데이터 보강 후 DLM은 0.984까지 도달했습니다. 이는 데이터 파이프라인 품질 개선이 모델 자체 성능만큼 중요하다는 것을 시사합니다.

프로덕션 적용을 위한 평가 게이트는 비즈니스 목표에서 출발해야 하며, 단순 점수 통과가 아닌 최소 허용 기준(Minimum Acceptance Criteria)의 집합으로 설계됩니다. 본 실험에서는 사실 정밀도, 지연 시간(p50, p95), 검색 정확도, 페르소나 일관성, 자연스러움, 멀티턴 통과율을 기준으로 삼았습니다. 채점에는 비용 효율적인 Claude Sonnet과 결정론적 코드 검증을 병행하여 신뢰도를 높였으며, 신뢰구간(Confidence Interval) 판정을 통해 통계적 유의성을 확보했습니다. 또한, 집계 점수만으로는 파악하기 어려운 오류를 발견하기 위해 원본 응답(Raw Response) 검토와 지속적인 평가 게이트 교정 루프를 강조합니다.

실험 결과, DLM은 AR 모델 대비 중앙값(P50) 및 꼬리 지연(p95) 모두에서 일관되게 약 3.5배 빠른 응답 시간을 보였습니다. 이는 실시간 상호작용 워크로드에서 중요한 이점이지만, DLM의 연산 집중적(Compute-Bound) 특성으로 인해 더 많은 연산 자원을 소비하는 대가로 얻어집니다. 따라서 다중 사용자 처리량(Multi-user Throughput)이 목표인 경우, 이 트레이드오프는 다르게 계산되어야 하며 직접적인 부하 테스트를 통한 검증이 필수적입니다. DLM은 온디바이스 환경 등 단일 사용자 지연이 지배적인 환경에서 특히 유리할 가능성이 있습니다.

DLM은 빠르게 발전하고 있으며, 더 적은 스텝과 작은 모델로도 동등하거나 더 나은 품질을 낼 수 있는 새로운 모델이 등장할 가능성이 높습니다. 따라서 특정 모델에 고착되기보다, 모델을 쉽게 교체할 수 있는 데이터 파이프라인(Data Pipeline)과 하네스(Harness)를 먼저 구축하는 것이 중요합니다. 또한, 모델 자체의 성능 개선뿐만 아니라 데이터 저장 및 검색 방식 개선을 통해 모델의 단점을 보완하고 성능을 끌어올릴 수 있습니다. 이는 비즈니스 목표 기반의 평가 게이트와 함께 운영될 때 더욱 효과적입니다.