AI 에이전트로 카카오톡 추천 지표 분석 자동화

본문에서는 AI 에이전트가 기존 Hadoop 환경에 직접 접근하여 데이터를 분석하는 방식을 설명한다. 새로운 분석 플랫폼을 구축하는 대신, 사람이 수행하던 분석 절차와 판단 기준을 AI가 읽을 수 있는 Markdown 문서(SKILL.md) 형태로 정리하여 기존 인프라에 접착제처럼 통합했다. 이를 통해 AI는 접속, 정보 수집, 쿼리 작성 및 실행 등 반복적인 작업을 자동화하며, 사용자는 자연어 요청만으로 분석 초안을 얻을 수 있다. 이 과정에서 새로운 코드 작성은 최소화하고 기존 스크립트를 활용하는 것이 핵심이다.

AI 에이전트의 분석 품질은 제공되는 컨텍스트의 품질을 넘지 못한다. 따라서 분석할 디렉터리에 컨텍스트 문서(CLAUDE.md, AGENTS.md)를 두어 분석 방향, 데이터 특성(테이블, 피처 의미, 집계 기준, 지표 정의)을 명확히 전달해야 한다. 이는 AI가 동일한 시행착오를 반복하는 것을 방지하고, 데이터 지식의 문서화를 통해 팀 내 협업과 신규 동료의 온보딩을 용이하게 한다. 모호한 정의나 비슷한 이름의 컬럼이 있을수록 명시적인 기준을 문서로 못 박는 컨텍스트 엔지니어링(Context Engineering)이 중요하다.

AI가 생성한 쿼리는 문법적으로는 완벽해도 의미론적 오류(Semantic Error)나 성능 오류(Performance Error)를 포함할 수 있다. 예를 들어, 사용자 수 집계 시 유사한 컬럼을 잘못 선택하거나, Hive 환경에서 비효율적인 다중 COUNT(DISTINCT) 쿼리를 생성하는 경우가 발생한다. 이러한 오류는 SQL 의미론과 쿼리 엔진 실행 특성을 이해하는 사람만이 식별할 수 있다. 따라서 AI가 만든 결과물은 반드시 검토 대상이며, 최종 해석과 의사결정은 사람의 몫으로 남겨두어야 한다.

AI 에이전트의 지침과 스킬은 코드처럼 컴파일 에러로 잡히지 않아 동작이 깨져도 배포 후 발견하기 쉽다. 이를 해결하기 위해 MLflow 기반의 E2E 자동 평가 파이프라인을 구축했다. 스킬별 기대 동작을 테스트 시나리오로 정의하고, 에이전트를 헤드리스로 실행하여 LLM Judge가 절차와 결과의 타당성을 채점하는 다층 검증 방식을 도입했다. 이를 통해 프롬프트 변경으로 인한 예상치 못한 동작 변화를 배포 전에 감지하고 수정할 수 있다.

AI 에이전트를 업무에 성공적으로 통합하기 위한 핵심 요소는 네 가지다. 첫째, 자연어 요청을 이해하고 분석 절차를 수행하는 AI 에이전트 모델이다. 둘째, 에이전트가 참고할 지침과 도메인 정의를 담은 컨텍스트이다. 셋째, 실제 데이터에 접근하고 쿼리를 실행할 기존 실행 환경(Hadoop)이다. 마지막으로, 결과와 실행 절차의 정확성을 검증하는 테스트 체계이다. 이 요소들을 함께 설계하는 것이 중요하다.