정적 SQL 기반의 데이터 추출 및 BI 대시보드 구축의 한계를 극복하기 위해, 사내 데이터 분석 AI 에이전트인 '곰곰이'를 개발
ReAct 프롬프트(ReAct Prompt) 기반의 AI Agent를 구축하여, 자연어 기반 SQL 생성 및 데이터 분석 자동화를 구현
데이터 분석 자동화로 개발자의 반복 업무를 줄이고, 비개발 직군도 데이터를 활용하여 새로운 인사이트(Insight) 발굴 및 데이터 활용 능력 향상
장기 기억 저장소(Vector DB)를 활용하여, 곰곰이의 답변 정확도와 신뢰도를 높이고, 사용자 만족도 향상
곰곰이는 ReAct 프롬프트(ReAct Prompt)를 활용하여, LLM이 자율적으로 문제를 해결하도록 설계되었다. ReAct는 Reasoning(추론)과 Acting(행동)을 결합한 프롬프트 기법으로, LLM에게 '생각 - 행동 - 관찰'의 반복적인 흐름을 유도한다.
Command(명령): 사용자 질문을 입력받아 분석 시작
Thought(추론): 질문과 관련된 기억을 장기 기억 저장소에서 검색
Action(행동): SQL 실행 도구, CSV 변환 도구 등 적절한 도구 선택
Observation(관찰): 도구 실행 결과 확인 및 분석
Final Answer(최종 답변): 최종 답변 생성 및 사용자에게 전달
이러한 반복적인 과정을 통해 곰곰이는 복잡한 데이터 분석 요청도 처리할 수 있다.
곰곰이는 장기 기억 저장소(Vector DB)를 활용하여, 과거의 대화 내용, SQL 쿼리, 도메인 지식 등을 저장하고 재사용한다. 이는 곰곰이의 답변 정확도와 효율성을 높이는 핵심 요소이다.
Vector DB: 행렬 데이터를 저장하고 빠르게 검색할 수 있는 기술
Embedding Model: 단어나 문장을 의미가 담긴 행렬로 변환
Semantic Search: 두 단어나 문장의 의미적 유사성을 계산
사용자 질문에 대해 과거 기억을 활용하여, 곰곰이는 더 정확하고 빠르게 답변을 생성할 수 있으며, 이는 사용자 만족도와 신뢰도를 높이는 데 기여한다.
곰곰이는 다양한 기술을 융합하여 구축되었으며, 각 구성 요소는 곰곰이의 성능과 효율성을 극대화하는 데 기여한다.
LLM: Claude 3.5 Sonnet을 사용하여, 질문의 의도를 파악하고 SQL을 생성
도구(Tools): SQL 실행 도구, CSV 변환 도구, 예시 SQL 저장소, 장기 기억 저장소 등 다양한 도구를 활용하여 데이터 분석 수행
인프라: AWS Lambda, Aurora Serverless v2 PostgreSQL, GCP BigQuery, AWS Athena 등 클라우드 환경에서 운영
특히, Aurora Serverless v2 PostgreSQL의 pg_vector 플러그인을 사용하여 비용 효율적으로 Vector DB를 운영한다.
곰곰이는 단순한 데이터 분석 도구를 넘어, 조직 내 다양한 분야에 기여할 수 있는 멀티 에이전트(Multi Agent)로의 진화를 목표로 한다. 이는 곰곰이의 활용 범위를 확장하고, 조직 전체의 생산성을 향상시키는 데 기여할 것이다.
데이터 분석 자동화: 개발자를 대신하여 데이터 분석 및 추출 업무 수행
도메인 전문가 활용: 비개발 직군도 데이터를 활용하여 새로운 인사이트 발굴
데이터 기반 의사 결정: 조직의 데이터 활용 능력을 높여 미래 예측 및 시장 변화 감지
멀티 에이전트 진화: 데이터 분석뿐만 아니라 개발, 기획, 운영 분야의 비효율 해결
곰곰이는 지속적인 학습과 도구 확장을 통해, 조직 내 AI 활용의 핵심적인 역할을 수행할 것으로 기대된다.
곰곰이의 도입은 조직 내 데이터 활용 방식에 혁신적인 변화를 가져왔다. 개발자의 반복적인 SQL 업무 부담을 줄이고, 비개발 직군도 데이터를 활용할 수 있게 되면서, 데이터 중심의 의사 결정 문화가 자리 잡았다.
개발자 업무 효율 증대: 반복적인 데이터 추출 업무에서 벗어나 핵심 과업에 집중
소통 비용 절감: 불필요한 질의응답 감소 및 데이터 접근성 향상
데이터 활용 능력 향상: 비개발 직군의 데이터 분석 능력 향상 및 새로운 인사이트 발굴
데이터 기반 의사 결정 문화 정착: 데이터 분석을 통해 미래를 예측하고 시장 변화에 빠르게 대응
이러한 변화는 조직의 데이터 활용 능력을 높이고, 혁신적인 성장을 이끄는 원동력이 될 것이다.