당근마켓, 데이터 레이어 구축으로 생산성 UP!

by DD
5개월 전
조회수 35

Active User 지표의 한계를 극복하기 위해 User Activation 개념을 도입함

DBT 기반의 데이터 레이어를 구축하여 신뢰성, 비용, 생산성 문제를 해결함

AU 대시보드 구축 및 마케팅 타겟팅에 활용하여 데이터 기반 의사결정을 지원함

Activation 레이어 아키텍처 심층 분석

Fact 모델을 기준으로 FirstLast, Activation, Activation Status 3개의 모델을 구축했다. FirstLast 모델은 유저의 최초/마지막 행동 시점을 저장하여 계산 비용 절감을 달성했다. 따라서 DBT 매크로를 활용하여 생산성을 향상시켰다.

FirstLast 모델 구현 방식 비교

FirstLast 모델 구현을 위해 3가지 방식을 비교했다. Fact 모델에서 직접 계산하는 방식은 높은 비용으로 제외되었다. 스냅샷 방식을 선택하여 백필 시 스캔량 최소화데이터 품질 모니터링을 가능하게 했다. 따라서 지속 가능한 운영을 위한 선택이었다.

DBT 매크로를 활용한 생산성 향상

SQL 직접 작성의 한계를 극복하기 위해 DBT 매크로를 활용했다. Fact 모델 이름만 지정하면 Activation 모델을 생성할 수 있도록 설계했다. 결과적으로 개발 생산성을 높이고, 데이터 모델링의 일관성을 유지했다. 따라서 유지보수성을 확보했다.

Activation을 전사 공통 레이어로 만들며 해결한 3가지: 신뢰성, 비용, 생산성