실험, 이제 코딩 없이! Policy Engine으로 실험 효율 UP!

Policy와 Experiment 개념 분리를 통해 설정 변경의 유연성을 확보했다. 구체적으로, Policy는 자주 변경되지 않는 기본 설정을, Experiment는 실험 집단에 적용되는 설정을 담당한다. 따라서, 새로운 실험을 추가할 때 기존 설정을 고려하는 부담을 줄여 실험 설정 시간 단축을 이끌었다.

JSON 기반 설정의 복잡성을 해결하기 위해 DSL(도메인 특화 언어)을 도입했다. Python을 기반으로 한 DSL은 직관적인 문법을 제공하여, 실험 담당자의 이해도를 높였다. 결과적으로, 설정 코드 라인이 7천 줄에서 50줄로 감소하는 등 코드 가독성과 유지보수성을 크게 향상시켰다.

실험 간의 충돌을 방지하기 위해 MECE 검증 기능을 도입했다. Z3를 활용하여 DSL 코드를 검증하고, 실험 설정의 무결성을 보장한다. 또한, 실시간 모니터링 대시보드를 구축하여 실험 결과를 즉시 확인하고, 문제 발생 시 빠르게 대응할 수 있도록 지원하여 실험 효율성을 높였다.