AI는 QA를 대체하지 않았다! 오히려 QA의 역할을 확장했다.

생성형 AI(Generative AI) 등장에 따른 QA 역할 변화에 대한 고민을 공유하며, AI가 QA를 대체할 것이라는 예상과 다른 결론을 제시

AI를 단순 도구로 사용하는 대신, 품질 운영 체계(Quality Operation System)에 통합하여 QA 업무의 사고 범위와 영향력을 확장

자동화 워크플로(Automation Workflow) 구축을 통해 QA 엔지니어의 정보 구조화 및 리스크 판단 능력을 향상시키고, 테스트 설계 방식 변화를 이끌어냄

AI와 사람의 협업을 강조하며, 휴먼 인 더 루프(Human-in-the-loop) 구조를 통해 테스트 설계의 품질을 향상시킴

AI를 활용한 품질 운영 체계 재설계

본문에서는 AI를 단순한 보조 도구로 사용하는 것에서 벗어나, 품질 워크플로(Quality Workflow)에 통합하여 QA 업무 방식을 혁신한 사례를 소개한다. LINE Album QA는 AI를 활용하여 기획 문서 요약, 테스트 케이스 초안 생성, 버그 분석 자동화 등을 시도했지만, 개별 도구로 사용하는 것의 한계를 인식했다.

자동화 워크플로 시스템(Automation Workflow System) 구축: 30개 이상의 워크플로를 통해 Jira 이슈 생성, 코드 변경, 테스트 실행, 사용자 피드백 수집 등 다양한 품질 관련 이벤트에 AI가 자동으로 반응하도록 설계

스케줄링 기반 자동화(Scheduling-based Automation): App Store 리뷰 분석, API 자동화 테스트 결과 요약, UI 자동화 테스트 결과 기반 리포트 생성 등 정기적인 분석 수행

웹훅 기반 이벤트 트리거(Webhook-based Event Trigger): Jira 티켓 생성, PR 병합, 테스트 결과 업로드 등 품질 관련 이벤트 발생 시 즉시 작동하는 구조

이러한 변화는 QA가 품질 데이터를 다루는 방식 자체를 바꾸는 계기가 되었으며, QA 엔지니어는 리스크 판단에 더욱 집중할 수 있게 되었다.

AI 기반 테스트 케이스 설계 방식 변화

LINE Album QA는 AI를 활용하여 테스트 케이스 초안을 생성하고, QA 엔지니어는 이를 검토하고 보강하는 휴먼 인 더 루프(Human-in-the-loop) 방식을 통해 테스트 설계의 효율성과 품질을 동시에 향상시켰다. AI는 기획 문서, 개발 티켓, 과거 이슈, 변경 배경, 테스트 히스토리 등 다양한 정보를 기반으로 테스트 시나리오를 확장하는 역할을 수행한다.

Plan-Analyzer: 기획 문서, 기능 설명, 이미지 분석을 기반으로 기본 기능 흐름 정리

Dev-Analyzer: 개발 티켓, 구현 정보 추가 분석

TestCase-Generator: 정상/예외 흐름, 경계값 조건, 플랫폼 차이, 우선순위를 반영한 테스트 케이스 생성

TestCase-Validator: 요구 사항 커버리지, 추적 가능성, 시나리오 완성도, 형식 적합성 등을 검토하고 피드백

Quality-Inspector: 이전 피드백과 품질 평가 결과를 참조하여 테스트 케이스 개선

이러한 워크플로를 통해 AI는 테스트 설계를 확장하는 중심 구성 요소가 되었으며, QA 엔지니어는 최종 판단, 맥락 해석, 우선순위 조정, 실제 실행 가능성 검토를 담당한다. 그 결과, 테스트 케이스의 약 90%는 AI가 초안을 생성하고, 약 10%는 QA가 검증하고 보강하는 형태로 운영된다.

AI 도입 효과: 시간 절약이 아닌 사고 밀도 증가

AI 도입의 핵심 효과는 단순한 시간 절약이 아니라, QA가 더 많은 맥락을 동시에 고려하며 더 깊이 있는 판단을 할 수 있도록 사고의 밀도(Density of Thinking)를 높여주는 것이다. AI 기반 자동화를 통해 반복적인 작업은 시스템으로 이전하고, QA 엔지니어는 고부가가치 의사 결정에 더 많은 시간을 할애할 수 있게 되었다.

리스크 기반 테스트(Risk-based Testing) 비중 증가: 기능 변경이 제품 전체에 미치는 영향 분석, 테스트 전략 재설계, 사용자 피드백 분석 등

품질 데이터 분석 역할 강화: AI가 생성한 결과의 품질을 높이기 위한 입력 설계, 자동화 워크플로 설계 및 개선, 품질 데이터 분석

의사 결정 역할 중요성 증대: AI가 제시한 결과를 바탕으로 제품 리스크를 판단하고 최종 결정

AI는 QA가 다룰 수 있는 정보의 범위와 사고의 깊이를 확장하여, QA의 역할을 단순한 테스트 수행자에서 품질 오케스트레이터(Quality Orchestrator)로 변화시켰다.

페어 테스팅(Pair Testing)에 AI 활용

LINE Album QA는 탐색적 테스팅(Exploratory Testing) 영역에서 AI를 페어 테스팅 조력자로 활용하여 테스트의 효율성과 품질을 향상시켰다. AI는 과거 이슈, 기능 변경 맥락, 테스트 히스토리와 같은 데이터를 기반으로 탐색적 테스트 차터(Test Charter)를 제안하고 추가 탐색 경로를 제시한다. QA는 이를 기반으로 테스트를 진행하며, 필요할 때 AI에게 과거 유사 이슈를 조회하거나 새로운 테스트 관점을 요청한다.

AI의 역할: 과거 데이터 기반 새로운 탐색 관점 제안, 리스크 기반 테스트 수행 제안

QA의 역할: 제품 맥락 고려, 실제 리스크 판단, 테스트 진행

AI 활용 효과: 경험이 많은 시니어 테스트 엔지니어의 도움 없이도 탐색적 테스팅 과정에서 고려해야 할 관점을 더 빠르게 캐치하고 확장 가능

AI는 탐색적 테스팅의 품질을 높이는 데 기여하며, QA 엔지니어는 더 깊이 있는 테스트를 수행할 수 있게 되었다.

AI 도입의 핵심: 휴먼 인 더 루프(Human-in-the-loop)

본문에서는 AI를 활용한 테스트 설계에서 가장 좋은 결과를 만든 것은 AI 단독도, 사람 단독도 아닌 AI와 사람이 함께 작동하는 휴먼 인 더 루프(Human-in-the-loop) 구조임을 강조한다. AI는 대량의 정보를 빠르게 요약하고, 데이터 속에서 반복되는 패턴을 탐지하며, 다양한 가능성을 기반으로 초안을 생성하는 데 강점을 보인다. 하지만 제품 품질을 결정하기 위해서는 맥락과 판단이 필요하며, 이는 사람의 역할이다.

AI의 강점: 대량 정보 요약, 패턴 탐지, 초안 생성

사람의 역할: 제품 철학, 우선순위, 사용자 경험, 최종 리스크 승인

휴먼 인 더 루프(Human-in-the-loop)의 중요성: AI가 확장한 정보에 기반하여 QA가 품질 전략을 설계하고 리스크를 판단하는 구조

AI와 사람의 협업을 통해 품질 운영 체계를 확장하고, AI를 얼마나 많이 사용하는가보다 AI와 사람이 어떤 구조로 함께 일하도록 설계했는가가 더 중요한 문제임을 강조한다.