AI 에이전트 메모리, 리콜은 충분, 바인딩이 부족했다!

길이/위치 편향(Length/Position Bias): Pairwise 평가에서 긴 답변을 선호하는 경향이 있어, Rubric 점수와 불일치 발생

트랙별 분석: Track C에서만 유의미한 Rubric 점수 향상(0.4점)을 보였으며, 이는 복잡한 라우팅 결정(Complex Routing Decision)에 대한 에이전트의 도움 필요성을 시사

Track E는 Pairwise 승률이 높았지만, Rubric 점수 향상은 미미하여 길이 편향의 영향(Length Bias Impact)을 확인

Skill 시스템의 한계: 'implement [target]'과 같은 추상적인 패턴은 실제 작업과의 연관성이 낮아, 전이 학습(Transfer Learning) 효과 미흡

Episode 시스템의 미활용: 작업의 성공/실패, 교훈(Lesson) 등 구체적인 경험을 저장하는 Episode 시스템이 Skill 시스템과 연결되지 않아, 실질적인 학습 부재

Memory Bundle 아키텍처 제안: Skill과 Episode를 연결하여, 구체적인 경험(Concrete Experience)을 학습에 활용하는 새로운 아키텍처 제시

구조: Procedure(절차), Episodes(에피소드), Semantic(의미), Causal Links(인과 관계)로 구성

작동 원리: 작업 실행 시 Skill과 Episode를 생성하고, Skill은 Episode를 참조하여 구체적인 상황(Specific Situation)에 맞는 지식을 제공

학습 과정: 작업 실행 -> Skill + Episode 생성 -> Recall 시 Skill과 관련된 Episode를 함께 제공 -> 피드백 루프(Feedback Loop)를 통해 Skill의 신뢰도(Confidence) 향상 및 새로운 Episode 기록

결과: 추상적인 패턴과 구체적인 경험을 결합하여, 실질적인 문제 해결 능력(Problem-Solving Ability) 향상 기대

구현 계획: Skill에 episode_ids[] 추가, Episode에 skill_id 추가, Unified recall, Transfer scoring, Feedback loop 구현

Track C에서의 기대 효과: Memory Bundle을 통해, 복잡한 라우팅 결정(Complex Routing Decision)에서 에이전트의 성능 향상 기대

향후 벤치마크: Memory Bundle 아키텍처를 적용한 후, 새로운 벤치마크(New Benchmark)를 통해 성능 검증 예정

오픈소스 기여: OrKa Brain의 모든 데이터, 스크립트, 결과를 공개하여, 커뮤니티 기여(Community Contribution)를 장려