요기요 모바일팀, AI로 온콜 자동화! 생산성 90% UP!
요기요 모바일팀은 온콜 업무의 반복적인 분석 작업을 AI에 위임하여 생산성 90% 이상 향상을 목표로 함
Slack, Firebase, n8n을 활용하여 크래시 분석 및 앱 리뷰 분석을 자동화하고, AI 기반 분석 시스템 구축
n8n을 활용하여 셀프 호스팅(Self-hosting) 환경을 구축하고, 워크플로우 가시성(Workflow Visibility)을 확보
사내 방화벽 문제, Firebase Crashlytics 접근 문제 등 기술적 난관(Technical Challenges)을 극복하고 시스템을 안정화함
n8n을 활용한 온콜 자동화 아키텍처
요기요 모바일팀은 n8n을 활용하여 온콜 업무를 자동화했다. n8n은 Zapier, Make와 유사한 워크플로우 자동화 도구로, 셀프 호스팅(Self-hosting)을 통해 비용을 절감하고, 데이터 흐름의 가시성을 확보했다.
Slack Integration: Slack 채널에서 `/crash-analytics` 또는 `/app-review-comment` 명령어를 통해 트리거
Firebase Crashlytics & App Review 분석: AI가 Firebase Crashlytics의 크래시 로그와 앱 리뷰를 분석
Github API 연동: 크래시 발생 시, 해당 앱 버전의 소스코드 정보를 Github API를 통해 가져와 분석
이러한 아키텍처는 반복적인 분석 작업을 자동화하여 온콜 담당자의 시간을 절약하고, 문제 해결 시간(MTTD, MTTR) 단축에 기여한다.
AI 기반 분석 시스템의 기술적 구현
본문에서는 AI를 활용한 크래시 및 앱 리뷰 분석 시스템의 기술적 구현 방식을 설명한다.
Claude Skills 활용: 초기에는 Claude Skills를 사용하여 로컬에서 크래시 및 앱 리뷰 분석을 실험
n8n 워크플로우: n8n을 사용하여 Slack 메시지를 트리거로, Firebase Crashlytics API 호출, Github API를 통한 소스코드 분석, AI 기반 분석, Slack 스레드에 결과 게시
AI 모델: 크래시 원인 분석, 영향도 평가, 소스코드 수정 제안, 앱 리뷰 카테고리 분류에 AI 활용
특히, Firebase Crashlytics 접근 문제를 해결하기 위해 Firebase MCP의 오픈소스 코드를 분석하고, n8n의 HTTP 요청 노드에 인증 정보를 설정하는 방식으로 접근 권한을 확보했다.
n8n 셀프 호스팅(Self-hosting)의 장점
요기요 모바일팀은 n8n을 셀프 호스팅 방식으로 구축하여 여러 장점을 얻었다.
비용 절감: Zapier, Make와 같은 SaaS(Software as a Service)형태의 서비스와 달리, 무료로 사용 가능
워크플로우 가시성: 데이터 흐름을 시각적으로 파악하고, 각 노드별 입출력을 확인하여 디버깅 용이
풍부한 통합 지원: Slack, Jira, Github, AI 등 회사에서 사용하는 다양한 도구와의 손쉬운 연동
유연성 확보: HTTP 노드를 통해 API만 있다면 어떤 도구든 연결 가능
이러한 장점들은 온콜 자동화 시스템의 유지보수성(Maintainability) 및 확장성(Scalability)을 높이는 데 기여한다.
온콜 자동화 시스템 개선 방향
요기요 모바일팀은 온콜 자동화 시스템의 지속적인 개선을 위해 여러 가지 노력을 기울이고 있다.
Github API 호출 캐싱: 크래시 분석 시, Github API 호출 횟수를 줄이기 위해 코드 캐싱(Code Caching) 적용
AI 모델 정확도 향상: AI가 놓치는 앱 리뷰를 보정하기 위해 주기적인 보정 작업 추가
외부 데이터 연동: 다른 회사의 앱 리뷰 분석, Datadog 및 장애 티켓과의 연관성 분석을 통해 근본적인 문제 해결 시도
이러한 개선 노력은 온콜 자동화 시스템의 정확성(Accuracy) 및 효율성(Efficiency)을 높이고, 궁극적으로 사용자 경험을 향상시키는 데 기여할 것이다.
