Cloudflare, 에이전트의 기억력을 향상시키는 Agent Memory 출시!

Agent Memory는 Durable Object를 사용하여 각 메모리 프로필을 격리하고, SQLite 기반 저장소(SQLite-backed store)를 통해 데이터 격리(Data Isolation)를 보장한다. 또한, Vectorize를 활용하여 임베딩된 메모리에 대한 벡터 검색을 수행하며, Workers AI를 통해 LLM(Large Language Model) 및 임베딩 모델을 실행한다.

이러한 구성 요소들은 Cloudflare의 인프라 위에서 효율적으로 작동하며, 높은 확장성과 성능을 제공한다.

Agent Memory의 Ingestion 파이프라인은 여러 단계로 구성되어 메모리를 추출, 검증, 분류 및 저장한다. 먼저, 각 메시지는 SHA-256 해시(SHA-256 Hash)를 기반으로 하는 고유 ID를 생성하여 중복을 방지한다. 추출 단계에서는 메시지를 청크(Chunk)로 나누어 정보를 추출하고, 추출된 정보는 Entity Identity, Object Identity, Temporal Accuracy 등 8가지 검증을 거친다.

검증된 메모리는 Fact, Event, Instruction, Task의 4가지 유형으로 분류되며, 효율적인 데이터 관리를 위해 INSERT OR IGNORE를 사용한다.

Agent Memory의 Retrieval 파이프라인은 쿼리 분석 및 임베딩을 시작으로, 5개의 병렬 검색 채널을 통해 결과를 융합한다. 쿼리 분석 단계에서는 Topic Key, Full-text Search Term, HyDE(Hypothetical Document Embedding)를 생성하고, 이를 기반으로 임베딩을 수행한다. 5개의 검색 채널은 Full-text Search, Exact Fact-key Lookup, Raw Message Search, Direct Vector Search, HyDE Vector Search를 포함한다.

최종적으로, RRF(Reciprocal Rank Fusion)를 통해 융합된 결과는 합성 모델(Synthesis Model)에 전달되어 자연어 답변을 생성한다.

Agent Memory는 성능 향상을 위해 다양한 최적화 기법을 적용했다. 특히, Llama 4 Scout(17B, 16-expert MoE)를 사용하여 추출, 검증, 분류 및 쿼리 분석을 수행하고, Nemotron 3(120B MoE, 12B active parameters)를 사용하여 자연어 답변을 생성한다. 또한, Durable Object를 통해 메모리 프로필을 격리하고, Vectorize를 활용하여 효율적인 벡터 검색을 지원한다.

이러한 최적화는 Agent Memory의 전반적인 성능을 향상시키고, 에이전트의 효율적인 운영을 가능하게 한다.

Agent Memory는 다양한 에이전트 아키텍처에서 활용될 수 있으며, 팀 협업 및 지식 공유를 지원한다. 개별 에이전트의 메모리, 사용자 정의 에이전트 하네스, 여러 에이전트 간의 공유 메모리 등 다양한 시나리오에서 활용 가능하다. 특히, 코딩 에이전트(Coding Agent), 코드 리뷰어(Code Reviewer), 챗봇(Chatbot) 등에서 활용되어 팀의 지식 자산 구축에 기여한다.

Agent Memory는 에이전트의 성능 향상뿐만 아니라, 팀의 지식 관리 및 공유를 위한 핵심적인 도구로 자리매김할 것으로 예상된다.