AI로 여행 검색, 더 정확하고 편리하게!
by DD
10개월 전
조회수 5
마이리얼트립은 통합 검색 결과의 정확도 향상을 위해 AI 기반 검색어 분류 시스템을 개발함
NER 모델의 복잡성을 극복하고, Claude를 활용하여 쿼리를 직접 분류하는 방식으로 전환
시스템 도입 후, 90%의 쿼리를 안정적으로 분류하고, 24%의 검색 결과 노출 순서를 변경하는 효과를 얻음
NER 모델의 한계와 Claude 기반 분류 시스템
초기에는 NER(Named Entity Recognition)을 활용했지만, 복잡성과 서비스 적용의 어려움으로 인해 실패했다. Claude를 활용하여 쿼리를 직접 투어, 티켓, 숙소 등으로 분류하는 방식으로 전환했다. 따라서 검색 의도 분류의 정확도를 높이고, 사용자 경험을 개선하는 데 집중했다.
프롬프트 엔지니어링과 분류 시스템의 성능
12회 이상의 반복 실험을 통해 프롬프트를 개선하고, 각 클래스의 정의와 판단 기준을 명확히 했다. 90%의 쿼리를 안정적으로 분류하고, 24%의 검색 결과 노출 순서를 변경하는 성과를 달성했다. 반면, Claude의 토큰 제한으로 인해 로컬 모델 전환을 고려해야 했다.
AI 모델 운영의 핵심: 효용성과 지속가능성
단순 정확도뿐 아니라, 서비스 효용성과 운영 가능성을 종합적으로 고려해야 한다. 사용자 행동 데이터를 반영한 피드백 루프 구성, 로컬 모델의 속도 및 콜드 스타트 대처 방안 등이 논의되었다. 따라서 AI 모델의 실용성과 지속가능성을 확보하는 것이 중요하다.
