Transformer 기반 Collaborative Embedding을 구축하여 유저의 행동을 언어처럼 해석함
Knowledge Distillation을 통해 Retrieval Head의 성능을 Generative Head 수준으로 향상시킴
A/B 테스트 결과, 장바구니 전환율 및 유저당 매출이 대폭 증가함
상품 상세 정보를 활용하여 Semantic ID를 생성하고, RQ-VAE를 통해 텍스트를 압축한다. 구체적으로, 코드북을 활용하여 상품의 특징을 여러 축으로 나누어 표현한다. 따라서, 신규 상품에 대한 빠른 대응이 가능하며, 상품 간의 유사성을 효과적으로 파악할 수 있다.
유저의 행동 시퀀스를 모델링하기 위해 Transformer Encoder를 활용하여 Collaborative Embedding을 구축한다. 는 다음 구매 상품을 예측하고, 는 벡터 유사도 기반 고속 탐색을 수행한다. 반면, 두 헤드의 성능 차이를 해결하기 위해 를 적용했다.
Retrieval Head의 성능 향상을 위해 Generative Head의 지식을 증류한다. 구체적으로, KL Divergence와 Listwise Loss를 사용하여 Generative Head의 예측 분포를 모방한다. 따라서, Retrieval Head는 정확도와 속도를 모두 잡을 수 있으며, A/B 테스트에서 괄목할 만한 성과를 거두었다.