현대오토에버, Amazon Bedrock 기반 AI 에이전트로 빅데이터 클러스터 장애 대응 자동화!

Amazon OpenSearch Service는 장애 대응의 핵심 증거인 로그를 분석하기 위해 사용되었다. 시간 범위, Level, Component 조건으로 원천 로그를 빠르게 검색하고, Aggregation을 통해 어떤 Component를 먼저 살펴야 하는지 즉시 판단할 수 있도록 지원한다.

특히, firewalld의 WARN 로그를 중요 신호로 취급하여, 방화벽 정책 변화로 인한 서비스 단절 문제를 조기에 감지할 수 있도록 했다.

Amazon Bedrock을 활용하여 단일 LLM의 한계를 극복하고, 역할별 멀티 에이전트 아키텍처를 구축했다. 이는 각 에이전트가 특정 역할에 특화되어, 보다 정확하고 효율적인 장애 대응을 가능하게 한다.

특히, Triage 단계에서 SUFFICIENT 판정 시 고성능 모델 호출을 건너뛰는 전략을 통해 비용을 절감했다.

단일 LLM의 확증 편향(Confirmation Bias)과 AI 환각(Hallucination) 위험을 완화하기 위해, 병렬 RCA와 자체 반증(Falsification) 방식을 도입했다. 이는 서로 다른 모델이 동일한 증거를 독립적으로 분석하도록 하여, 분석의 신뢰도를 높이는 데 기여한다.

결과적으로, Reflector(Reflector)는 두 분석의 논증 구조를 교차 검증하여 최종 보고서의 근거를 투명하게 추적할 수 있도록 돕는다.

자동화의 실질적인 가치를 발휘하기 위해, Human-in-the-Loop 설계를 통해 운영 환경에서의 신뢰성을 확보했다. 이는 자동화의 이점을 가져가면서도, 오탐이나 실수의 리스크를 제어하기 위한 전략이다.

특히, 승인 기반 실행(Approval Wait)을 통해 자동화의 이점을 유지하면서, 운영 리스크를 최소화하는 균형을 맞췄다.