챗GPT 품질, SPeCTRA로 잡았다!
by DD
9개월 전
조회수 8
SPeCTRA를 활용하여 채팅플러스 LLM 서비스의 품질을 검증함
Postman을 이용한 API 자동화로 테스트 효율성을 향상시킴
LLM 응답 기반의 Update 테스트 자동화를 통해 커버리지 확대
SPeCTRA 기반 LLM 품질 평가 아키텍처
SPeCTRA는 LLM 응답의 안전성, 톤&매너, 정확성을 평가하는 프레임워크이다. API 호출을 통해 LLM 응답을 받고, Judge 모델이 평가 점수를 산출한다. 따라서, Postman을 활용한 자동화는 테스트 커버리지 확장에 기여한다.
Postman 자동화와 테스트 효율성
Postman을 이용한 자동화는 API 테스트의 핵심이다. Pre-request Script를 통해 환경 변수를 설정하고, Post-response Script로 응답을 검증한다. 구체적으로, 10개 이상 API를 한 번에 실행하여 테스트 시간 획기적 단축을 달성했다.
Update 기능 테스트 자동화
LLM 응답을 기반으로 Update 요청을 자동 생성하는 방식은 혁신적이다. LLM Response를 입력으로 활용하여, 다양한 시나리오를 검증한다. 결과적으로, 테스트 커버리지 확대와 리소스 절감이라는 두 마리 토끼를 잡았다.
