LLM으로 리뷰의 진심을 읽어내, 개인 맞춤 맛집 추천 성공!

본문에서는 LLM(Large Language Model)을 활용하여 리뷰의 긍정/부정을 넘어, 리뷰어의 ‘진심의 온도’를 수치화하는 방법을 제시한다. 기존 감성 분석의 한계를 극복하기 위해, LLM의 문맥 파악 능력을 활용하여 자동 어노테이션(Automatic Annotation)을 수행했다. 특히, 미묘한 수식어, 재방문 의사, 구체적인 맛 묘사 등을 종합하여 리뷰의 진정성을 점수화하는 정교한 수치화(Sophisticated Quantification) 과정을 거쳤다. 이를 통해, 텍스트 기반의 비정형 데이터를 정교한 수치형 데이터로 변환하여 추천 알고리즘에 즉시 활용할 수 있는 ‘학습 가능한 지식’으로 만들었다.

수천만 건의 리뷰 데이터를 처리하기 위한 비용 문제를 해결하기 위해, 고성능 LLM의 지식을 가벼운 모델에게 전수하는 지식 증류(Knowledge Distillation) 전략을 채택했다. 고성능 LLM을 Teacher Model로 활용하여 10만 건의 리뷰 라벨링 작업을 단시간 내에 완료하고, 사내 데이터로 사전 학습된 ELECTRA 모델을 Student Model로 활용했다. ELECTRA 모델은 적은 파라미터로도 서비스 환경에 최적화된 추론 속도와 문맥 파악 능력을 동시에 제공하며, 비용 절감(Cost Reduction)과 성능 유지(Performance Preservation)라는 두 마리 토끼를 잡았다.

AI가 매긴 점수의 신뢰도를 높이기 위해, 실제 별점 추정 능력과 텍스트 길이의 함정 극복을 위한 검증 절차를 거쳤다. LLM 점수가 실제 사용자의 별점 경향성을 정확히 따르는지, 텍스트의 양에 현혹되지 않고 리뷰의 본질을 판별하는지 확인했다. 또한, 데이터의 양에 따른 왜곡을 방지하기 위해 별점과 AI 점수 모두에 베이지안 스무딩(Bayesian Smoothing) 기법을 적용하여, 리뷰가 적은 초기에는 전체 평균값을 기준으로 점수를 수렴시키고, 리뷰가 쌓일수록 실제 데이터가 점수에 강하게 반영되도록 설계했다. 이를 통해 노출 순위의 신뢰도(Reliability)를 높였다.

초기 AI 리뷰 스코어 기반 큐레이션에서 특정 카테고리 편향(Category Bias)이 발생하여, 주문 전환율(iCVR)이 저조한 문제를 해결하기 위해 개인화 모델과의 결합(Re-ranking)을 시도했다. 기존의 리뷰 진정성 점수 위주의 노출 방식에서 벗어나, 사용자의 개인별 취향과 리뷰의 진정성을 결합한 ‘나만을 위한 칭찬 가득 맛집’ 추천을 구현했다. 개인화 리랭킹 적용 결과, CTR은 유지하면서 CVR이 큰 폭으로 개선되었으며, 재주문율 54% 증가를 통해 개인화 추천(Personalized Recommendation)의 효과를 입증했다.

이번 프로젝트를 통해 구축한 AI 리뷰 스코어를 활용하여, 사용자의 탐색 노력을 최소화하면서도 취향에 맞는 다양한 가게를 제안하는 시도를 지속할 예정이다. 특히, 시간별 극찬 가게 큐레이션, 루키 맛집 추천 등 더 정교해진 데이터 기반의 새로운 추천 경험을 만들어갈 계획이다. 이는 단순히 데이터의 편향을 바로잡는 것을 넘어, 리뷰라는 비정형 데이터 속에 숨겨진 고객의 진심을 발견하고, 서비스에 대한 신뢰(Trust)를 높이는 방향으로 나아갈 것이다. 궁극적으로는 고객에게 만족스러운 식사 경험을 제공하는 것을 목표로 한다.