AI 에러 분석 비서 Jarvis, 개발팀 생산성을 높이다!

에러 로그 분석 자동화를 위해 생성형 AI(Gemini) 기반의 Jarvis를 개발

초기에는 프롬프트의 문제로 인해 성능 저하, MCP 도입으로 개선

Jarvis 도입 후, 에러 대응 시간 단축 및 팀 생산성 향상

Jarvis 아키텍처: Slack, Gemini, 그리고 MCP

Jarvis는 Slack의 에러 알림을 받아 Gemini를 통해 분석을 수행한다. 구체적으로 LangChain을 활용하여 Gemini API와 연동하고, 분석 결과를 다시 Slack으로 전달한다. 따라서 MCP(Model Context Protocol)를 통해 에러 메시지 외에 관련 코드와 비즈니스 로직을 제공하여 분석 정확도를 높였다.

프롬프트 엔지니어링: 초기 실패와 개선 과정

초기 Jarvis는 모호한 프롬프트로 인해 부정확한 결과를 반환했다. 구체적인 규칙을 적용하여 프롬프트를 재구성한 결과, 분석 정확도가 크게 향상되었다. 따라서 역할 정의, 에러 확인, 중요도 평가 등 명확한 카테고리를 설정하여 Jarvis가 원하는 답을 얻도록 했다.

MCP 도입 효과: 맥락 이해 능력 향상

Jarvis는 MCP를 통해 에러 메시지 외에 관련 소스 코드와 비즈니스 로직을 학습한다. 따라서 에러 분석 정확도가 향상되고, 보다 적절한 해결 방안을 제시할 수 있게 되었다. 반면, MCP 도입을 위해 GitHub 및 Datadog 연동과 에러 메시지 형식 수정 작업이 필요했다.