LLM으로 배포 내역 자동 요약: 팀 커뮤니케이션 비용 절감!

본 시스템은 GitHub Actions을 트리거(Trigger)로, Notion DB를 데이터 저장소(Data Storage)로 활용하여 배포 기록을 자동화한다. 배포 시점에 rake task를 실행하여 git log에서 PR 목록을 파싱하고, gh CLI를 통해 PR description을 수집하여 Notion에 upsert한다. 특히, CodeRabbit을 통해 생성된 PR description을 활용하여 LLM 입력 데이터의 품질을 높이고, 토큰 비용을 절감한다. 이 아키텍처는 기존 도구들을 조합하여 데이터 격리 아키텍처(Data Isolation Architecture)를 구현하고, 별도의 인프라 구축 없이 효율적인 배포 기록 관리를 가능하게 한다.

릴리즈 노트 생성은 매일 UTC 01:00(KST 10:00)에 실행되는 CronJob을 통해 자동화된다. Prompt Studio를 활용하여 LLM 요약을 수행하며, 프롬프트(Prompt)는 코드 외부에서 관리하여 유연성을 확보한다. 핵심은 PR description을 기반으로 릴리즈 노트를 생성하고, 기술 용어를 팀 언어로 번역하는 것이다. 분류 체계 설계와 용어 변환 사전을 통해 비개발자도 이해할 수 있는 릴리즈 노트를 생성하며, 출력 형식 제어를 통해 가독성을 높인다. 이 과정은 지속적인 프롬프트 개선(Continuous Prompt Improvement)을 통해 릴리즈 노트의 품질을 향상시킨다.

LLM 릴리즈 노트의 품질은 프롬프트 설계에 크게 의존한다. 프롬프트는 역할 정의, 분류 라벨, 필수 규칙, 어조 및 용어 가이드, 출력 형식 및 자체 검증으로 구성된다. 특히, 용어 변환 가이드를 통해 사내 용어를 일반적인 표현으로 변환하여 비개발자의 이해도를 높인다. 1 PR = 1 항목 규칙, PR 번호 및 리전 라벨 필수, 100자 이내의 간결함, 쉬운 용어 사용 등 다양한 규칙(Various Rules)을 통해 출력 품질을 관리한다. 이러한 전략은 LLM의 AI 환각(Hallucination)을 줄이고, 일관성 있는 릴리즈 노트를 생성하는 데 기여한다.

Notion DB는 배포 기록 관리의 핵심 요소로, 배포 DB, PR DB, LLM 릴리즈 노트 DB로 구성된다. 배포 DB와 PR DB는 relation으로 연결되어 배포와 관련된 PR 정보를 양방향으로 조회할 수 있다. LLM 릴리즈 노트 DB는 LLM이 생성한 릴리즈 노트를 저장하며, 팀 위클리 자동화, Claude Code 스킬, 다른 팀 도입 등 다양한 활용 사례를 제공한다. 이러한 데이터 자산화는 팀 협업 방식 개선에 기여하며, 데이터 기반 의사 결정(Data-Driven Decision Making)을 지원한다.

본 시스템은 GitHub Actions, Notion, 사내 GenAI 플랫폼, Rails 서버 등 다양한 기술을 활용하여 구축되었다. GitHub Actions은 배포 시점을 트리거하고, Notion은 PR 정보를 정형화하여 저장하는 역할을 한다. Prompt Studio는 프롬프트 관리 및 LLM 호출을 담당하며, Rails 서버는 rake task 실행을 위한 환경을 제공한다. 이러한 기술 스택은 별도 인프라 구축 없이 시스템을 빠르게 구축하고, 유지보수성을 높이는 데 기여한다. 특히, 데이터 미저장 정책(Zero-Retention Policy)을 통해 보안을 강화한다.