에이닷 통화요약, AI로 유쾌함과 안전성을 모두 잡다!
by DD
7개월 전
조회수 8
SKT 에이닷의 LLM 기반 통화요약 서비스에서 구체성/핵심성 부족 문제 발생
Prompt Engineering과 GT 생성 모델 개선을 통해 구체성 29.5%p 향상 달성
Safety Layer 구축으로 불편한 재미요약 1% → 0%로 감소, 서비스 품질 개선
통화요약 LLM의 성능 개선 과정
초기 LLM은 사실성과 유창성에 집중하여 추상적 제목을 생성하는 경향이 있었다. 따라서 Prompt Engineering을 통해 핵심성과 구체성을 높이는 방향으로 개선했다. 구체적으로, GT 생성 모델을 고도화하여 학습 데이터 품질을 향상시켰다.
구체성 vs 유쾌함, 트레이드오프 극복
구체적인 제목은 유쾌함을 희생시킬 수 있다는 Trade-off가 존재했다. 핵심성과 구체성 향상과 함께 사실성과 유창성 저하를 최소화하는 것이 목표였다. Prompt를 반복적으로 개선하여 구체성 29.5%p 향상과 유창성 2%p 감소라는 균형을 달성했다.
안전한 재미요약을 위한 3중 Safety Layer
유쾌한 제목 생성 과정에서 안전성 문제를 해결하기 위해 3중 Safety Layer를 구축했다. 가벼운 분위기의 데이터를 선별하고, 민감한 주제를 필터링하며, 비속어를 제거하여 불편한 재미요약 발생을 원천 차단했다. 결과적으로 불편한 재미요약 0%를 달성했다.
