핀터레스트, 사용자 행동 기반 광고 추천 시스템 도입

오프라인 평가(Offline Evaluation): Recall@K를 사용하여 긍정적 레이블(Positive Labels) 검색 능력 측정. 코사인 유사도(Cosine Similarity) 기반으로 사용자 임베딩과 광고주 임베딩 간의 유사도 계산

온라인 평가(Online Evaluation): 전환율(Conversion Volume) 증가 및 CPA(Cost Per Action) 감소를 통해 모델의 실질적인 효과 검증

모델 선택: 광고주 및 상품 수준 Recall@K 지표를 모두 고려하여, 검색 효율성과 다양성 간의 균형을 달성

로그-Q 바이어스 보정(Log-Q Bias Correction): 초기 모델은 빈번한 광고주의 상품을 예측하는 경향이 있었음. 로그-Q 보정 파라미터 가중치 조정을 통해 편향 완화

다양성 측정 지표 도입: 상위 검색 결과의 90%가 차지하는 무작위 인덱스 비율(Fraction of Random Indices)을 측정하여, 성능과 다양성 간의 균형 유지

고유 ID(High-cardinality ID) 제거: 광고주 ID(Advertiser ID)와 같은 거친 수준의 ID만 사용하여, 모델이 상위 수준의 관계를 파악하도록 유도

온사이트(Onsite) 데이터 통합: 사용자 여정(User Journey)에 대한 종합적인 뷰(Comprehensive View)를 제공하기 위해 온사이트 이벤트 시퀀스 및 인구 통계적 특징(Demographic Features) 결합

실시간 컨텍스트(Real-time Context) 활용: 검색어(Search Query Terms)와 같은 실시간 컨텍스트 신호를 통합하여, 개인화된 사용자 임베딩 생성

광고주 풀(Advertiser Pool) 확장: 관련 광고주 풀을 동적으로 구축하여, 후보의 다양성과 개인화 극대화

실시간 사용자 타워 추론(Real-time User Tower Inference): 새로운 참여(Engagement) 직후 사용자 표현을 즉시 갱신