AI 비서 에이닷 4.0, QA팀의 숨겨진 노력!

에이닷 4.0 출시와 함께 QA팀은 단순 기능 검증을 넘어 AI 응답 품질 평가 역할 수행

기획 단계부터 참여, SPeCTRA 2.0 도입, 데일리 리포트 활용 등 품질 관리 프로세스 혁신

AI 기반 멀티모달 플랫폼 환경에서 사용자 발화 기반 테스트를 통해 품질 확보 노력

QA 역할의 확장: 기획부터 참여

에이닷 4.0 QA팀은 기획 단계부터 참여하여 도메인별 흐름과 사용자 케이스를 정의했다. 구체적으로, 기획 회의 참여, 테스트 케이스 설계 준비, 출시 직전 점검을 통해 제품 완성도를 높였다. 따라서, QA는 단순 테스터를 넘어 제품 생애주기 전체를 아우르는 역할을 수행하게 되었다.

SPeCTRA 2.0: AI 응답 품질 평가 기준

에이닷 4.0은 LLM 기반으로, QA는 SPeCTRA 2.0을 도입하여 AI 응답 품질을 평가했다. 구체적으로, 사용자 발화 기반 시나리오를 작성하고, 자동화 테스트를 실행하여 응답을 평가했다. 따라서, 모델 구조 변경 시에도 빠른 품질 검토가 가능해졌고, AI 응답의 신뢰성을 확보했다.

데일리 리포트: 품질 관리의 핵심

에이닷 4.0 출시 과정에서 데일리 리포트를 도입하여 품질 상태를 공유했다. 구체적으로, 발견된 이슈 유형 분류, 모델 응답 관련 문제점 분석, 통과율 및 영향도를 정리했다. 반면, 실무자들은 동일한 기준을 공유하며 이슈 개선 속도를 높였다. 결과적으로, 최종 품질 확보에 기여했다.