LLM 기반 내비게이션, 에이닷과 TMAP의 만남! 똑똑한 길 안내 시작
by DD
7개월 전
조회수 4
기존 NLU의 한계를 넘어 LLM 기반 에이전트가 복합 의도와 맥락 의존 발화를 처리함
에이닷과 TMAP 연동을 통해 POI 인식 정확도를 향상시키고 개인화 추천 기능을 강화함
모델 선정 및 비용 최적화를 위한 하이브리드 전략과 Hallucination 대응 시스템 구축
LLM 기반 아키텍처의 핵심 요소
LLM 기반 내비게이션은 '이해 → 추론 → 실행' 3단계로 동작한다. 발화 의도 분석을 통해 문맥을 파악하고, Function Classification으로 TMAP 기능을 호출한다. 따라서, Parameter Extraction을 통해 필요한 정보를 추출하여 응답 생성을 수행한다.
모델 선정과 비용 최적화의 딜레마
높은 성능의 LLM은 비용 증가와 응답 속도 저하를 야기한다. 하이브리드 전략을 통해 정확도, 응답 속도, 비용 간 균형을 맞췄다. 구체적으로, 중형 LLM과 경량 LLM을 상황에 따라 유연하게 조합하여 실시간성을 확보했다.
Hallucination(환각) 문제 해결 전략
Hallucination은 잘못된 정보 제공으로 이어질 수 있다. Hybrid System 구축을 통해 LLM(의도 이해), Rule Engine(검증), Context Manager(맥락 관리)를 통합했다. 따라서, POI 검증을 강화하고 전/후처리 로직을 보강하여 신뢰성을 높였다.
