개인화 추천 시스템, A/B 테스트로 매출 2배!

Transformer 기반 Collaborative Embedding을 구축하여 유저의 행동을 언어처럼 해석함

Knowledge Distillation을 통해 Retrieval Head의 성능을 Generative Head 수준으로 향상시킴

A/B 테스트 결과, 장바구니 전환율 및 유저당 매출이 대폭 증가함

상품 언어 정의: Semantic ID와 RQ-VAE

상품 상세 정보를 활용하여 Semantic ID를 생성하고, RQ-VAE를 통해 텍스트를 압축한다. 구체적으로, 코드북을 활용하여 상품의 특징을 여러 축으로 나누어 표현한다. 따라서, 신규 상품에 대한 빠른 대응이 가능하며, 상품 간의 유사성을 효과적으로 파악할 수 있다.

Collaborative Embedding: Generative vs Retrieval

유저의 행동 시퀀스를 모델링하기 위해 Transformer Encoder를 활용하여 Collaborative Embedding을 구축한다. Generative Head는 다음 구매 상품을 예측하고, Retrieval Head는 벡터 유사도 기반 고속 탐색을 수행한다. 반면, 두 헤드의 성능 차이를 해결하기 위해 지식 증류를 적용했다.

지식 증류를 통한 성능 향상

Retrieval Head의 성능 향상을 위해 Generative Head의 지식을 증류한다. 구체적으로, KL Divergence와 Listwise Loss를 사용하여 Generative Head의 예측 분포를 모방한다. 따라서, Retrieval Head는 정확도와 속도를 모두 잡을 수 있으며, A/B 테스트에서 괄목할 만한 성과를 거두었다.