ML 모델, 배포 후 효과를 내려면? 하이퍼커넥트의 비법 공개!
by DD
6개월 전
조회수 7
ML 모델 배포 시, 비즈니스 목표와 일치하는 지표 설정이 중요함
하이퍼커넥트는 A/B 테스트를 통해 모델의 실질적 효과 검증
Randomized 데이터 활용, Mean CR Lift 지표로 전환율 상승 확인
문제 정의: 비즈니스 목표와 지표의 연결
모델 배포 전, 비즈니스 목표와 일치하는 평가 지표 설계를 최우선으로 고려해야 한다. 구체적으로, 잘못된 지표 최적화는 서비스 효과 부재로 이어진다. 따라서, 전환율 향상과 같은 핵심 목표를 명확히 정의하고, 이에 맞는 지표를 선택해야 한다.
데이터 기반 학습: Confounder 제거 전략
Randomized 데이터 활용은 Confounder의 영향을 최소화하는 핵심 전략이다. 따라서, A/B 테스트를 통해 인과 관계를 명확히 파악한다. 반면, 기존 데이터는 추천 로직 등의 영향으로 왜곡될 수 있으므로, 데이터 편향을 고려한 학습 방법론을 선택해야 한다.
평가 지표 설계: 비즈니스 임팩트 측정
모델의 실질적인 비즈니스 임팩트를 측정하기 위해, Mean CR Lift 지표를 활용한다. 구체적으로, 온라인 A/B 테스트를 통해 전환율 상승을 검증한다. 따라서, 오프라인 평가 지표는 온라인 실험 결과를 예측하는 데 활용되어야 하며, Maximization Bias를 억제하는 방법론을 적용해야 한다.
