LLM, 이제 코드로 API를 직접 호출한다!

Cloudflare의 Code Mode는 LLM이 미리 정의된 도구 호출 대신 코드를 직접 작성하여 API와 상호작용하도록 함

도구 호출 방식의 문제점 (컨텍스트 팽창, 복잡한 호출의 어려움)을 해결하고, 성능 및 유연성을 향상시킴

Agent Skills 방식을 통해 OpenAPI 명세와 SKILL.md 파일을 활용하여 API 접근성을 높이는 대안 제시

MCP(Model Context Protocol) 서버 관리의 필요성을 줄이고, 토큰 비용 절감 및 유연한 API 상호작용을 가능하게 함

Code Mode의 기술적 우위

Code Mode는 LLM이 API를 직접 호출하는 코드를 작성하도록 함으로써, 기존 도구 호출 방식의 컨텍스트 팽창(Context Bloat) 문제를 해결한다. 특히, 불필요한 도구 정의와 중간 결과가 컨텍스트에 포함되는 것을 방지하여 지연 시간(Latency)을 줄이고, LLM의 오류 발생 가능성(Error Rate)을 낮춘다. 이는 LLM이 코드 작성에 더 능숙하다는 점을 활용한 설계로, 복잡한 API 호출(Complex API Calls)을 효율적으로 처리할 수 있게 한다.

Agent Skills 방식의 장점

Agent Skills 방식은 OpenAPI 명세(OpenAPI Specification)와 SKILL.md 파일을 활용하여 API 접근성을 높인다. 이 방식은 MCP 서버 관리의 부담을 줄이고, 토큰 비용(Token Cost)을 절감하는 효과를 제공한다. 또한, LLM이 API 명세(API Specification)를 기반으로 코드를 작성하므로, API의 변경에 유연하게 대응할 수 있다. Anthropic과 같은 LLM은 이 방식을 통해 효율적인 API 상호작용(Efficient API Interaction)을 구현한다.

MCP(Model Context Protocol)의 한계와 대안

MCP는 초기에는 유망했지만, 현재 아키텍처에 대한 개선 요구(Improvement Demand)가 제기되고 있다. 특히, MCP 서버 관리의 복잡성과 도구 정의(Tool Definition)의 한계가 지적된다. Agent Skills 방식은 이러한 문제를 해결하기 위한 대안으로 제시되며, OpenAPI 명세(OpenAPI Specification)와 SKILL.md 파일을 통해 API 접근성을 향상시킨다. 이는 분산 환경(Distributed Environment)에서 API를 효율적으로 관리하고 활용하는 데 기여한다.

Code Mode와 Agent Skills의 실제 구현

Code Mode는 Cloudflare Workers 환경에서 샌드박스(Sandboxed)된 JavaScript 코드를 실행하여 API와 상호작용한다. Agent Skills 방식에서는 OpenAPI 명세(OpenAPI Specification)를 로드하고, 검색 및 호출 기능(Search and Call Function)을 구현하는 코드를 작성한다. 이러한 방식은 LLM이 API를 직접 제어하고, 최종 결과(Final Result)만을 반환하도록 하여, 컨텍스트 관리(Context Management)의 효율성을 높인다. 구체적인 구현 코드는 본문에 포함되지 않았다.