에이전트 스킬, 이제 '느낌' 말고 '증거'로 평가하세요!
by DD
5개월 전
조회수 48
에이전트 스킬의 성능 개선을 위해, 기존의 주관적인 평가 대신 평가(Evals)를 활용하여 객관적인 기준을 마련함
평가는 프롬프트(Prompt), 캡처된 실행 결과, 검증 항목, 점수로 구성되며, 경량화된 엔드투엔드(End-to-End) 테스트와 유사하게 작동함
성공 기준 정의, 결정적 검증, 루브릭 기반 채점을 통해 개선 사항(Improvements)과 회귀(Regressions)를 명확하게 파악할 수 있도록 지원함
Codex를 활용하여 평가를 자동화하고, CI 환경에서 일관된 결과를 얻을 수 있도록 지원하며, 지속적인 스킬 개선(Continuous Skill Improvement)을 가능하게 함
평가(Evals)의 핵심 원리: 프롬프트, 실행, 검증, 점수
본문은 에이전트 스킬의 품질을 객관적으로 평가하기 위해 평가(Evals)를 활용하는 방법을 제시한다. 평가는 프롬프트(Prompt)를 통해 에이전트의 동작을 유도하고, 실행 결과(Trace + Artifacts)를 캡처하여, 정의된 검증 항목(Checks)에 따라 점수를 매기는 방식으로 진행된다.
결정적 검증(Deterministic Checks): `npm install` 실행 여부, `package.json` 생성 여부 등, 명확한 기준을 통해 회귀(Regression)를 조기에 감지
루브릭 기반 채점(Rubric-based Grading): 스타일, 컨벤션 등, 정성적인 측면을 평가하기 위해 를 활용하여 일관된 결과를 도출
