4번의 A/B 실험으로 본 '최소주문금액바' 고도화 여정

본문은 '최소주문금액바'라는 단일 기능에 대해 4번의 A/B 테스트를 진행하며 겪은 경험을 공유한다. 단순히 메인 지표(주문전환율) 상승 여부로 실험 성공/실패를 판단하는 것을 넘어, 보조 지표 분석을 통해 고객 행동 패턴(Customer Behavior Patterns)을 깊이 이해하는 것이 중요함을 강조한다.

결론적으로, 실험의 가치는 목표 지표 달성 여부뿐만 아니라 실험 과정에서 얻는 고객 인사이트와 레슨런(Lessons Learned)에 있으며, 이는 다음 실험 설계의 귀중한 자산이 된다는 점을 시사함.

Phase 1과 Phase 2 실험에서 '최소주문금액바'는 탐색-주문 간 마찰(Friction)을 줄여 장바구니 이탈률 감소 및 주문전환율 상승이라는 명확한 성과를 보였다. 이는 '고객 불편 해소'라는 기능의 본질이 성공적으로 검증되었음을 의미한다.

하지만 Phase 2 분석 결과, 주문전환율 상승에도 불구하고 평균주문금액(Average Order Value)이 소폭 하락하는 현상이 나타났다. 이는 사용자가 '최소주문금액바'를 통해 정확히 필요한 금액만큼만 담게 되는 경향이 생겼기 때문으로 분석된다. 즉, UI/UX 개선이 오히려 구매 금액 상승의 잠재력을 제한하는 '천장 효과(Ceiling Effect)'로 작용할 수 있다는 점을 시사한다.

이러한 발견은 단순히 사용자 경험을 개선하는 것을 넘어, 비즈니스 목표(GMV 증대) 달성을 위한 추가적인 전략이 필요함을 보여준다.

Phase 3에서는 '얼마 더 담으면 어떤 혜택을 받을 수 있는지'를 알려주는 혜택 넛지(Benefit Nudge) 도입을 통해 평균주문금액 상승을 시도했다. 하지만 고허들 쿠폰(High-Hurdle Coupon) 운영 부족이라는 실험 환경의 제약으로 인해 가설 검증에 실패했다.

그러나 Phase 4 실험 환경 변화(고허들 쿠폰 적극 운영) 속에서, Phase 3에서 검증하지 못했던 업셀링 넛지(Upselling Nudge)가 평균주문금액을 방어하는 효과가 역으로 입증되었다. 이는 혜택 안내가 특정 조건(쿠폰 보유, 최소주문금액 달성 후) 하에서 실질적인 구매 전환 및 금액 상승으로 이어질 수 있음을 보여준다.

결론적으로, 넛지 디자인 자체의 효과만큼이나 타이밍과 노출 조건(Exposure Conditions)을 정교하게 설계하는 것이 비즈니스 성과에 결정적인 영향을 미친다는 점을 시사한다.

AI 기술이 데이터 분석을 고도화하는 시대에도 PM의 역할은 여전히 중요하며, 오히려 그 중요성이 부각된다고 필자는 주장한다. AI가 방대한 데이터를 빠르게 처리해 줄수록, 데이터 속에서 의미 있는 질문을 던지고 신호를 포착하여 인사이트로 전환하는 능력의 가치가 커진다는 것이다.

본문의 핵심적인 순간들(Phase 2 보조 지표 분석, Phase 3 실험 결과의 재해석, Phase 4 이탈 분석)은 모두 데이터 기반의 질문과 가설 재설계를 통해 이루어졌다. 예를 들어, Phase 2에서 발견된 '평균주문금액 하락'이라는 신호는 Phase 3의 '혜택 넛지' 가설로, Phase 3의 '업셀링 노출 부족'이라는 문제는 Phase 4의 '추천 상품 제공' 가설로 연결되었다.

이는 AI가 제공하는 분석 결과를 바탕으로, 인간 고유의 비판적 사고와 창의적 문제 해결 능력을 통해 비즈니스 가치를 창출하는 것이 PM의 핵심 역할임을 보여준다.