토스 QA, 자체 플랫폼 '토션'으로 품질 표준을 만들다

토스 QA Platform 팀은 '토스 품질의 표준'을 세우는 것을 목표로 삼고 있으며, 이는 세 가지 핵심 원칙으로 구성됨.

첫째, '매주 믿을 수 있게 배포하는 것(Reliable Releases, Every Time)'으로, 일회성이 아닌 지속적인 신뢰도 확보를 강조함. 둘째, '결함을 예리하게 짚어내는 것(Ensure Test Quality)'으로, 단순히 테스트 양을 늘리는 것이 아니라 실제 사고로 이어질 수 있는 결함을 정확히 찾아내는 능력을 중시함. 셋째, '효율적으로 해내는 것(Assuring Quality Efficiently)'으로, 반복적인 수작업을 넘어 변화하는 개발 속도에 맞춰 지치지 않고 품질을 유지하는 방안을 모색함. 이 세 가지 표준은 토스 앱의 품질을 일관되게 유지하기 위한 근간이 됨.

토스 QA Platform 팀은 매주 증가하는 테스트 업무량과 상용 도구의 한계를 극복하고자 자체 테스트 플랫폼 '토션(Tossion)'을 개발함. 기존 TestRail을 대체하며 테스트 케이스 작성부터 실행, 결과 기록까지 전 과정을 통합하고, 여러 봇을 '토스버틀러(Toss Butler)'로 통합하여 효율성을 높임. 이는 단순히 도구를 교체하는 것을 넘어, 토스의 업무 방식에 최적화된 환경을 구축하려는 시도였음. '우리만의 공간'에서 QA의 이상을 실험하고 구현하고자 하는 의지가 반영된 결과임.

토스 QA 팀은 AI 기술을 활용하여 테스트 케이스 자동 생성 도구(tcgen)와 PR 분석기(PRCheck)를 개발하며 테스트 자동화 범위를 확장하려 함. PR 분석기는 변경 사항의 영향 범위를 파악하고 버그 위험도 및 테스트 우선순위를 제시하여 개발자의 의사결정을 지원함. 그러나 'tcgen'의 경우, 사용자들이 '쉽게 테스트하는 것'보다 '대신 빠르고 정확하게 테스트해주고 품질까지 책임져 주는 것'을 진정으로 원한다는 점을 깨닫고, 도구 제공 방식에서 직접 핸들링하는 방식으로 전략을 수정함. 이는 AI가 모든 것을 해결해 줄 수 없으며, 사람의 판단과 책임이 여전히 중요함을 시사함.

토스 QA Platform 팀의 슬로건인 '단순 테스트를 넘어, 토스 품질의 표준을 세운다'는 단순히 결함을 찾아내는 것을 넘어선다. 이는 매주 변화하는 토스 앱의 품질을 일관된 기준으로 관리하고, 신뢰할 수 있는 배포(Reliable Releases)를 지속하며, 효율적인 테스트 프로세스(Efficient Testing Process)를 구축하는 것을 포함한다. 또한, AI와 같은 새로운 기술을 적극적으로 도입하되, 기술 자체에 매몰되지 않고 궁극적으로 품질 향상이라는 목표를 달성하기 위한 방향성을 유지하는 것을 의미함. 이는 QA의 역할을 단순 검증자를 넘어 품질 전략가로 확장하려는 의지를 보여줌.

토션 플랫폼은 완성된 결과물이 아닌, '언젠가 바뀔 것'을 전제로 설계되어 유연성과 확장성을 확보함. API 테스트를 위해 개발했던 'API Labs'가 맞지 않는 방향임을 인지하고 8시간 만에 폐기한 경험은 이러한 설계 철학을 뒷받침함. 새로운 AI 기능이나 개선된 방법론이 등장했을 때, 기존 시스템에 미치는 영향을 최소화하면서 미련 없이 대체 가능한 구조를 지향함. 이는 빠르게 변화하는 기술 환경 속에서 QA 도구가 변화의 속도를 늦추는 장애물이 되지 않도록 하기 위한 전략임.