핀터레스트, 사용자 행동 기반 광고 추천 시스템 도입
핀터레스트(Pinterest)는 사용자 행동 시퀀스(User Behavior Sequence)를 분석하여 광고 후보 생성(Ad Candidate Generation) 시스템을 개선함
트랜스포머 기반(Transformer-based) 모델을 활용하여 사용자의 구매, 장바구니, 가입 등 오프사이트(Offsite) 행동을 분석하고, 광고주 예측(Advertiser Prediction) 모델을 개발함
오프라인(Offline) 평가 지표로 Recall@K를 사용하고, 온라인(Online) 실험에서 전환율 증가(Conversion Volume Lift) 및 CPA(Cost Per Action) 감소를 확인
향후 온사이트(Onsite) 데이터 및 실시간 컨텍스트(Real-time Context)를 통합하여 개인화된 광고 경험(Personalized Ad Experience)을 더욱 강화할 계획임
광고 후보 생성을 위한 트랜스포머(Transformer) 모델 아키텍처
본문에서는 핀터레스트(Pinterest)의 광고 후보 생성 시스템에 사용된 트랜스포머(Transformer) 기반의 2-타워 모델(Two-tower Model) 아키텍처를 설명한다.
사용자 타워(User Tower): 양방향 트랜스포머(Bidirectional Transformer)를 사용하여 사용자 이벤트 시퀀스(User Event Sequence)를 인코딩
광고주 타워(Advertiser Tower): 광고주 표현 레이어(Advertiser Representation Layer) 위에 MLP(Multi-Layer Perceptron) 타워를 쌓아 광고주 임베딩(Advertiser Embedding) 생성
손실 함수(Loss Function): in-batch negatives와 sampled softmax loss를 사용하여 모델 학습. 로그-Q 바이어스 보정(Log-Q Bias Correction)을 통해 인기 항목에 대한 과도한 페널티 방지
이러한 아키텍처는 사용자의 행동 패턴을 효과적으로 학습하고, 개인화된 광고 후보를 생성하는 데 기여한다.
오프라인(Offline) 및 온라인(Online) 평가 지표 분석
모델의 성능 평가는 오프라인(Offline)과 온라인(Online) 환경에서 각각 다른 지표를 사용한다.
오프라인 평가(Offline Evaluation): Recall@K를 사용하여 긍정적 레이블(Positive Labels) 검색 능력 측정. 코사인 유사도(Cosine Similarity) 기반으로 사용자 임베딩과 광고주 임베딩 간의 유사도 계산
온라인 평가(Online Evaluation): 전환율(Conversion Volume) 증가 및 CPA(Cost Per Action) 감소를 통해 모델의 실질적인 효과 검증
모델 선택: 광고주 및 상품 수준 Recall@K 지표를 모두 고려하여, 검색 효율성과 다양성 간의 균형을 달성
이러한 평가 과정을 통해 모델의 정확성과 실용성을 모두 확보한다.
인기 상품 편향(Popularity Bias) 문제 해결
모델 학습 과정에서 발생할 수 있는 인기 상품 편향(Popularity Bias) 문제를 해결하기 위한 구체적인 방법이 제시되었다.
로그-Q 바이어스 보정(Log-Q Bias Correction): 초기 모델은 빈번한 광고주의 상품을 예측하는 경향이 있었음. 로그-Q 보정 파라미터 가중치 조정을 통해 편향 완화
다양성 측정 지표 도입: 상위 검색 결과의 90%가 차지하는 무작위 인덱스 비율(Fraction of Random Indices)을 측정하여, 성능과 다양성 간의 균형 유지
고유 ID(High-cardinality ID) 제거: 광고주 ID(Advertiser ID)와 같은 거친 수준의 ID만 사용하여, 모델이 상위 수준의 관계를 파악하도록 유도
이러한 노력을 통해 모델의 개인화 성능을 향상시켰다.
향후 과제 및 개선 방향
본문에서는 모델의 성능 향상을 위한 다양한 향후 과제(Future Work)와 개선 방향을 제시한다.
온사이트(Onsite) 데이터 통합: 사용자 여정(User Journey)에 대한 종합적인 뷰(Comprehensive View)를 제공하기 위해 온사이트 이벤트 시퀀스 및 인구 통계적 특징(Demographic Features) 결합
실시간 컨텍스트(Real-time Context) 활용: 검색어(Search Query Terms)와 같은 실시간 컨텍스트 신호를 통합하여, 개인화된 사용자 임베딩 생성
광고주 풀(Advertiser Pool) 확장: 관련 광고주 풀을 동적으로 구축하여, 후보의 다양성과 개인화 극대화
실시간 사용자 타워 추론(Real-time User Tower Inference): 새로운 참여(Engagement) 직후 사용자 표현을 즉시 갱신
이러한 개선 사항들을 통해 광고 추천 시스템의 정확도와 효율성을 지속적으로 향상시킬 계획이다.
