AI가 테스트 코드를 찍어낸다고? MAFT 개발기
by DD
7개월 전
조회수 4
LLM 기반 MAFT는 API 문서 기반 E2E 테스트 코드를 자동 생성한다.
AutoGen 프레임워크를 활용, 여러 에이전트가 협업하여 테스트 케이스를 생성한다.
Noir 검색 엔진 API 테스트에 적용, 15개 이상 버그를 발견하고 테스트 품질을 향상시켰다.
MAFT 아키텍처: 멀티 에이전트 기반 테스트 자동화
MAFT는 AutoGen을 활용하여 여러 LLM 에이전트가 협업하는 구조를 가진다. 구체적으로, API 문서를 분석하여 테스트 시나리오를 생성하고, 이를 기반으로 E2E 테스트 코드를 자동 생성한다. 따라서, 각 에이전트는 특정 역할을 담당하며, 서로 대화하며 테스트를 진행한다.
AutoGen vs MetaGPT: 에이전트 책임 분배 방식 비교
AutoGen은 도구 기반 책임을, MetaGPT는 역할 기반 책임을 강조한다. AutoGen은 에이전트에게 도구를 부여하고, 도구 실행을 통해 역할을 수행한다. 반면, MetaGPT는 에이전트를 소프트웨어 회사의 구성원으로 보고, 역할에 따라 도구를 공유한다. 따라서, MAFT는 AutoGen을 선택하여 도구 기반 책임 분배 방식을 채택했다.
MAFT의 한계점과 개선 방향
MAFT는 비용 문제, 코드 일관성 부족, 개발자 검증 필요성 등의 한계점을 가진다. 구체적으로, API 개수에 비례하여 비용이 증가하고, 생성된 코드의 형식이 일관되지 않다. 따라서, 도메인 특화 및 LLM 성능 향상을 통해 이러한 문제들을 해결하고, 테스트 자동화를 완성할 수 있다.
