AI 기반 테스트 자동화, 시행착오 끝에 QA 업무 효율 40% UP!

본문에서는 QA 엔지니어의 테스트 케이스(TC) 자동화 시도 과정에서 겪은 어려움을 상세히 설명한다. 초기에는 Gemini에게 복잡한 기획서를 한 번에 처리하도록 시도했으나, AI 환각(Hallucination), 정보 누락, 과도한 제약 조건으로 인한 문제 발생.

이러한 문제점들은 AI의 한계를 명확히 인지하고, 문제 해결을 위한 전략적 접근의 필요성을 강조한다.

저자는 AI의 성능 저하 문제를 해결하기 위해 분할 도출 프로세스를 도입했다. 이는 기획서 학습, 컴포넌트 목차화, 컴포넌트별 TC 생성의 3단계로 구성된다.

이러한 접근 방식은 AI가 처리해야 할 정보량을 줄여 정확도(Accuracy)를 향상시키고, 테스트 커버리지를 100%에 가깝게 확보하는 데 기여했다.

분할 도출 프로세스 도입 후, AI 기반 TC 자동화는 괄목할 만한 성과를 거두었다. 적용 과제 비율 81.4%, AI 기반 TC 생성 비중 82.6%를 기록하며 실무 적용 가능성을 입증했다. 또한, 전체 일정의 39.49% 단축을 통해 업무 효율성(Efficiency)을 극대화했다.

이러한 수치들은 AI가 단순한 초안 작성을 넘어, TC 작성 업무의 핵심 도구로 자리 잡았음을 보여준다.

저자는 기존 Gemini의 한계를 보완하기 위해 Claude API를 활용한 TC 자동 도출 테스트를 병행하고 있다. Claude API는 대용량 문서 처리와 지시사항 준수율에 강점을 가지고 있어, 기존 분할 도출 프로세스와 결합하여 수작업을 최소화한 자동화 파이프라인 구축을 목표로 한다.

이러한 시도는 QA 업무의 효율을 더욱 높이고, 더 나은 테스트 프로세스를 만들어가는 데 기여할 것으로 기대된다.