AI 코드 자동화, 신뢰를 얻기 위한 Sherpa의 설계 전략
Sherpa는 연동사 API 문서를 기반으로 서버 코드를 자동 생성하는 도구로, 마크다운(Markdown) 기반 코드 생성을 시도함
마크다운(Markdown) 변환 과정에서 필드 누락 및 검증 문제 발생, AI 자동화의 한계 직면
HTML을 기준 진리(Source of Truth)로 삼아 검증 가능한 자동화 파이프라인(Verifiable Automation Pipeline) 구축
검증 뷰어(Verification Viewer) 도입으로 사람의 역할을 검수자에서 결정자로 전환하여 자동화 신뢰도 향상
AI 자동화의 함정: 마크다운(Markdown)의 문제점
Sherpa는 연동사 API 문서를 마크다운(Markdown)으로 변환 후, 이를 기반으로 서버 코드를 생성하는 방식을 채택했다. 하지만 마크다운(Markdown) 변환 과정에서 필드 누락(Field Omission), 옵션 설명 부재 등 문제 발생.
문제점: 마크다운(Markdown)의 유연성 부족으로 인해 문서 구조가 일관되지 않고, 자동화 과정에서 오류 발생
해결책: AI의 성능 부족이 아닌, 검증되지 않은 자동화 파이프라인(Automation Pipeline) 자체가 문제의 근본 원인
결과적으로, AI의 성능 향상보다 신뢰할 수 있는 자동화 구조 설계가 더 중요함을 시사한다.
HTML을 기준 진리(Source of Truth)로 삼은 이유
Sherpa는 문서 형태에 의존적인 마크다운(Markdown) 방식의 한계를 극복하기 위해, 모든 문서를 HTML로 변환하는 방식을 도입했다. HTML을 기준 진리(Source of Truth)로 삼아 검증 가능한 자동화 파이프라인(Verifiable Automation Pipeline) 구축.
장점: HTML의 표준화된 구조를 통해 문서 형태에 종속되지 않고, 일관된 방식으로 코드 생성 가능
핵심: 검증 가능성 확보를 통해 자동화의 신뢰도를 높이고, 운영 환경에서의 안정성을 확보
영향: PDF, SPA 등 다양한 형태의 문서를 처리할 수 있는 유연한 아키텍처(Flexible Architecture) 구축
디버깅(Debugging) 가능한 자동화 파이프라인(Pipeline) 설계
Sherpa는 HTML을 마크다운(Markdown)으로 한 번에 변환하는 대신, 여러 단계로 파이프라인(Pipeline)을 분리하여 문제 발생 지점 파악 용이성을 확보했다.
파이프라인(Pipeline) 단계: HTML 분류, API 단위 마크다운(Markdown) 생성, 인덱스 생성
장점: 문제 발생 지점(Failure Point)을 쉽게 파악하고, 재실행(Re-execution) 가능
결과: 자동화 과정의 디버깅(Debugging) 및 유지보수(Maintenance) 용이성 향상
이러한 구조는 자동화의 신뢰도를 높이는 동시에, 개발 생산성 향상에도 기여한다.
검증 뷰어(Verification Viewer)를 통한 사람의 역할 변화
Sherpa는 HTML과 마크다운(Markdown)을 동시에 보여주는 검증 뷰어(Verification Viewer)를 도입하여, 사람의 역할을 검수자에서 결정자로 전환했다.
검증 뷰어(Verification Viewer) 기능: HTML과 마크다운(Markdown)의 동일 위치 하이라이팅
변화: 모든 문서를 처음부터 끝까지 검토하는 대신, 자동화의 신뢰성을 판단하는 역할 수행
효과: 자동화의 효율성을 높이는 동시에, 사람의 개입을 최소화하여 개발 생산성 향상
결과적으로, Sherpa는 AI 자동화의 한계를 극복하고, 신뢰할 수 있는 개발 환경을 구축했다.
