실험, 이제 코딩 없이! Policy Engine으로 실험 효율 UP!
by DD
9개월 전
조회수 4
A/B 테스트의 병목 현상을 해결하기 위해 로우 코드 실험 시스템을 개발함
Policy Engine 도입으로 DSL 기반의 실험 설정 및 MECE 검증 기능 제공
실험 설정 시간 97% 단축, 실험 담당자의 자율적인 실험 진행 환경 구축
Policy Engine 아키텍처 심층 분석
Policy와 Experiment 개념 분리를 통해 설정 변경의 유연성을 확보했다. 구체적으로, Policy는 자주 변경되지 않는 기본 설정을, Experiment는 실험 집단에 적용되는 설정을 담당한다. 따라서, 새로운 실험을 추가할 때 기존 설정을 고려하는 부담을 줄여 실험 설정 시간 단축을 이끌었다.
DSL 도입과 설정 코드 99% 감소
JSON 기반 설정의 복잡성을 해결하기 위해 DSL(도메인 특화 언어)을 도입했다. Python을 기반으로 한 DSL은 직관적인 문법을 제공하여, 실험 담당자의 이해도를 높였다. 결과적으로, 설정 코드 라인이 7천 줄에서 50줄로 감소하는 등 코드 가독성과 유지보수성을 크게 향상시켰다.
MECE 검증과 실시간 모니터링
실험 간의 충돌을 방지하기 위해 MECE 검증 기능을 도입했다. Z3를 활용하여 DSL 코드를 검증하고, 실험 설정의 무결성을 보장한다. 또한, 실시간 모니터링 대시보드를 구축하여 실험 결과를 즉시 확인하고, 문제 발생 시 빠르게 대응할 수 있도록 지원하여 실험 효율성을 높였다.
