뱅크샐러드, 실험 분석 자동화로 데이터 기반 의사결정 고도화!
by DD
5년 전
조회수 6
뱅크샐러드는 A/B 테스트를 통해 제품 개선을 검증하며, 실험 분석 인프라 구축에 힘썼다.
초기에는 Python Notebook 기반의 수동 분석 방식을 사용했으나, 자동화된 파이프라인 구축으로 전환했다.
Metric Configuration, Data Preparation, Metric Calculation 단계를 거쳐 데이터 기반 의사결정을 지원한다.
자동화된 분석 파이프라인 설계
자동화된 분석 파이프라인은 Metric Configuration을 통해 지표를 정의하고, Data Preparation 단계에서 데이터를 가공한다. 따라서 실험 정보, Trigger Event, Subject Event를 구조화하여 분석에 필요한 데이터를 준비한다. 결과적으로 Metric Calculation 단계에서 실험 결과를 계산하고 시각화한다.
수동 분석 vs 자동화: 트레이드오프
초기 Python Notebook 기반의 수동 분석은 빠른 개발을 가능하게 했지만, 과 측면에서 한계를 보였다. 반면, 자동화된 파이프라인은 을 높이고, 의 리소스를 절감했다. 따라서 의 신뢰도를 향상시켰다.
