에이닷 4.0, SPeCTRA 2.0으로 LLM 품질 평가 혁신!

SPeCTRA 1.0의 한계를 극복하고, API 기반 테스트 환경으로 전환하여 확장성을 확보함

Google Sheets를 활용한 테스트 데이터 중앙 관리 및 내부 로그 시스템 연동을 통해 신뢰성을 향상시킴

Web 기반 툴 도입으로 테스트 속도 3배 향상 및 협업 효율을 극대화함

API 기반 테스트 아키텍처의 설계

SPeCTRA 2.0은 API 호출 방식으로 테스트 환경을 구축하여 유연성을 확보했다. 구체적으로, Appium과 같은 물리적 디바이스 의존성을 제거하고, CI/CD 파이프라인과의 통합을 용이하게 했다. 따라서 테스트 속도 향상과 확장성 확보라는 두 마리 토끼를 잡았다.

테스트 데이터 관리의 혁신: Google Sheets

Google Sheets를 활용한 중앙 집중식 테스트 데이터 관리는 협업 효율을 높였다. 실시간 협업을 통해 테스트 시나리오를 공유하고, 버전 관리 기능을 통해 데이터 무결성을 유지한다. 반면, 데이터 동기화 및 접근 권한 관리에 대한 추가적인 고려가 필요하다.

LLM 품질 평가의 핵심: QA Judge Model

SPeCTRA 2.0의 핵심은 QA Judge Model이다. 이 모델은 LLM의 최종 답변뿐 아니라, 내부 API 연동을 통해 에이전트의 '생각'의 흐름을 추적한다. 따라서 Memory API 및 Rewrite API를 활용하여 평가 정확도를 높이고, 모델 개선에 기여한다.