Pinterest, L1 모델의 온라인-오프라인 불일치 문제 해결

본문은 Pinterest의 L1 전환 모델에서 오프라인 평가 지표와 온라인 A/B 테스트 결과 간의 불일치 현상을 심층 분석한다. 오프라인 지표(Offline Metrics)는 손실(Loss) 감소와 보정(Calibration) 개선을 보였지만, 온라인에서는 CPA(Cost Per Acquisition)가 개선되지 않거나 오히려 악화되는 현상이 발생했다. 이러한 불일치는 모델, 특징(Feature), 임베딩(Embedding), 퍼널(Funnel) 디자인 등 다양한 요인에서 기인하며, 모델 배포(Model Deployment) 과정에서 발생하는 문제점을 파악하는 것이 핵심이다. 모델의 성능 저하(Performance Degradation)는 실제 운영 환경과 훈련 환경 간의 차이에서 비롯됨을 강조한다.

Pinterest는 L1 임베딩(Embedding) 구축 시, 훈련 데이터에 포함된 일부 특징(Feature)이 누락되는 문제를 발견했다. 특히, 광고주 및 핀(Pin) 프로모션 관련 중요 신호들이 L1 임베딩에 포함되지 않아, 온라인 모델이 오프라인 평가보다 낮은 성능을 보였다. 해결책으로, 누락된 특징들을 L1 임베딩에 포함하도록 UFR 설정을 업데이트하고, 온라인 특징 커버리지(Online Feature Coverage)를 개선했다. 또한, L2에서 사용되는 특징을 L1 임베딩에도 자동으로 적용하는 설정을 추가하여, O/O 문제를 사전에 방지하는 시스템을 구축했다. 특징 일관성(Feature Consistency) 확보를 통해 모델 성능을 향상시켰다.

Pinterest는 쿼리(Query) 및 핀(Pin) 타워(Tower) 간의 임베딩 버전 불일치(Embedding Version Skew)가 성능 저하의 원인임을 확인했다. 실시간(Real-time) 환경에서 핀 임베딩은 빈번하게 업데이트되는 반면, 쿼리 모델은 다른 주기로 배포되면서, 서로 다른 버전의 임베딩 간의 내적(Dot Product) 연산이 발생했다. 이를 해결하기 위해, 대규모 환경에서는 배치(Batch) 임베딩 추론을 통해 임베딩 버전 일관성(Embedding Version Consistency)을 유지하고, 새로운 모델 출시 시 버전 불일치에 대한 민감도 테스트를 수행한다. 배포 프로세스(Deployment Process) 개선을 통해 모델 성능의 안정성을 확보했다.

Pinterest는 L1 모델의 예측 성능 개선뿐만 아니라, 전체 퍼널(Funnel)의 효율성을 고려하여 CPA(Cost Per Acquisition) 개선을 시도했다. L1 모델의 성능 향상이 검색(Retrieval) 및 랭킹(Ranking) 단계의 개선으로 이어지지 않는 경우, CPA 개선 효과가 미미할 수 있음을 확인했다. 또한, 오프라인 지표와 온라인 지표 간의 차이를 인지하고, 실제 경매(Auction) 환경에서의 CPA 변화를 분석했다. 퍼널 분석(Funnel Analysis)을 통해 L1 모델의 개선 효과를 극대화하고, CPA 개선을 위한 전략을 수립했다.

Pinterest는 O/O 불일치 문제를 해결하기 위해, 모델, 임베딩, 특징 파이프라인을 하나의 시스템으로 간주하고, 모델 출시 프로세스(Model Launch Process)를 개선했다. 오프라인 성능 개선을 위해서는, 실제 운영 환경과 동일한 특징(Feature)이 사용되는지 검증하는 절차를 마련했다. 또한, 퍼널(Funnel)의 한계와 지표(Metric)의 특성을 고려하여, L1 모델의 개선이 CPA(Cost Per Acquisition)에 미치는 영향을 분석한다. 디버깅 가능성(Debuggability) 확보를 위해, 특징 커버리지 대시보드, 임베딩 버전 불일치 테스트, 패리티(Parity) 테스트 등을 활용하여, 모델 출시의 예측 가능성을 높였다.