뱅크샐러드, 실험 분석 자동화로 데이터 기반 의사결정 고도화!
by DD
5년 전
조회수 6
뱅크샐러드는 A/B 테스트를 통해 제품 개선을 검증하며, 실험 분석 인프라 구축에 힘썼다.
초기에는 Python Notebook 기반의 수동 분석 방식을 사용했으나, 자동화된 파이프라인 구축으로 전환했다.
Metric Configuration, Data Preparation, Metric Calculation 단계를 거쳐 데이터 기반 의사결정을 지원한다.
자동화된 분석 파이프라인 설계
자동화된 분석 파이프라인은 Metric Configuration을 통해 지표를 정의하고, Data Preparation 단계에서 데이터를 가공한다. 따라서 실험 정보, Trigger Event, Subject Event를 구조화하여 분석에 필요한 데이터를 준비한다. 결과적으로 Metric Calculation 단계에서 실험 결과를 계산하고 시각화한다.
수동 분석 vs 자동화: 트레이드오프
초기 Python Notebook 기반의 수동 분석은 빠른 개발을 가능하게 했지만, 확장성과 일관성 측면에서 한계를 보였다. 반면, 자동화된 파이프라인은 데이터 정합성을 높이고, Data Scientist & Analyst의 리소스를 절감했다. 따라서 데이터 기반 의사결정의 신뢰도를 향상시켰다.
실험 분석 인프라 고도화 전략
향후 실험 플랫폼은 검정력 향상을 통해 더 빠른 실험을 지원하고, 다양한 지표 계산을 지원할 예정이다. 구체적으로 Metric Calculation 과정의 재사용성을 높여 분석 효율성을 극대화한다. 따라서 데이터 분석 역량 강화를 통해 뱅크샐러드의 실험 문화를 더욱 발전시킬 것이다.
