요기요, N-gram 도입으로 검색 정확도 UP!
by DD
1년 전
조회수 6
요기요 검색 서비스에서 형태소 분석기의 고유명사 처리 한계를 발견함
N-gram 기반의 Analyzer를 도입하여 검색 정확도를 개선함
형태소 분석기 오분석으로 인한 CS 발생 건수 100% 감소
형태소 분석기의 한계: 고유명사 처리의 어려움
요기요 검색은 가게 이름 검색에 특화되어 형태소 분석기의 문법 중심적 특성이 문제로 작용했다. 구체적으로, 고유명사의 다양한 변형과 중의적인 표현을 제대로 처리하지 못했다. 따라서, 검색 결과 누락이라는 문제로 이어졌다.
N-gram 도입: 형태소 분석기의 단점 보완
N-gram 기반 Analyzer를 도입하여 형태소 분석기의 한계를 극복했다. 기존 Analyzer와 병행 사용하며, 색인 시 N-gram을 적용하여 다양한 형태의 가게 이름을 검색 가능하게 했다. 반면, 쿼리에서는 형태소 분석기를 사용하여 불필요한 매칭을 방지했다.
검색 정확도 향상을 위한 전략적 접근
N-gram 도입과 함께, 쿼리 전체를 term으로 추출하는 방식을 추가하여 검색 정확도를 더욱 향상시켰다. 결과적으로, 형태소 분석기 오분석으로 인한 CS 발생 건수를 100% 감소시켰다. 따라서, 플랫폼 특성에 맞는 Analyzer 설계의 중요성을 강조한다.
