에이닷, Agentic Memory로 개인화된 챗봇 경험 제공!
by DD
9개월 전
조회수 6
에이닷에 Agentic Memory를 도입하여 사용자 대화 기반의 개인화된 경험 제공
Kinesis Data Streams, SQS, Lambda를 활용한 비동기 메모리 저장 아키텍처 구축
DSPy 기반 프롬프트 최적화를 통해 메모리 저장 정확도 향상 및 개발 효율성 증대
Agentic Memory 아키텍처 심층 분석
Agentic Memory는 사용자의 발화를 구조화하여 ADD/UPDATE/DELETE 연산을 수행한다. 구체적으로 Kinesis Data Streams를 통해 실시간 메시지를 수집하고, Lambda를 사용하여 메시지를 처리한다. 따라서 SQS를 통해 비동기적으로 메모리를 저장하여 응답 속도 저하 문제를 해결하고, 시스템 안정성을 확보했다.
DSPy를 활용한 프롬프트 최적화
DSPy를 도입하여 프롬프트 엔지니어링의 효율성을 높였다. Golden Dataset을 활용하여 프롬프트의 성능을 평가하고, 자동 최적화 루프를 구축했다. 반면, DSPy 사용은 초기 설정 및 데이터 준비에 추가적인 노력을 요구한다. 결과적으로 메모리 저장 정확도를 향상시키고, 유지보수성을 높였다.
비동기 아키텍처 설계의 중요성
실시간 메모리 저장은 사용자 응답 속도에 부정적인 영향을 미칠 수 있다. 따라서 Kinesis Data Streams와 SQS를 활용하여 비동기적으로 메모리를 저장하도록 설계했다. 구체적으로, Message Broker를 통해 메시지를 큐에 넣고, Lambda 함수가 이를 처리한다. 결과적으로 시스템 안정성을 확보하고, 사용자 경험을 개선했다.
