AI 에이전트 시대, 웹사이트를 위한 새로운 기준 제시
Cloudflare는 웹사이트의 AI 에이전트 적합성을 평가하는 Agent Readiness Score를 도입하여, 웹 환경의 변화를 촉구함
robots.txt, Content Signals, Markdown content negotiation 등 에이전트가 웹사이트를 효율적으로 활용하기 위한 다양한 표준을 제시함
Cloudflare 개발자 문서를 에이전트 친화적으로 개선하여, 토큰 사용량 31% 감소 및 응답 속도 66% 향상의 벤치마크 결과를 얻음
llms.txt 파일 구조 개선, /index.md URL 활용, AI 훈련 크롤러(AI Training Crawlers) 리디렉션 등, AI 에이전트의 효율적인 정보 접근을 위한 다양한 기술을 적용함
에이전트 준비도(Agent Readiness) 측정 도구의 기술적 구성
Cloudflare는 웹사이트의 에이전트 준비도(Agent Readiness)를 측정하기 위해, 다양한 기술적 요소를 평가한다.
Discoverability: robots.txt, sitemap.xml, Link Headers(RFC 8288)를 통해 에이전트가 웹사이트의 리소스를 얼마나 쉽게 찾을 수 있는지 평가한다.
Content: Markdown content negotiation을 통해 에이전트가 HTML 대신 Markdown 형식의 콘텐츠를 효율적으로 소비하도록 지원한다.
Bot Access Control: Content Signals, AI bot rules in robots.txt, Web Bot Auth를 활용하여, 에이전트의 접근 권한을 세밀하게 제어한다.
Capabilities: API Catalog(RFC 9727), MCP Server Card, Agent Skills 등을 통해 에이전트가 웹사이트의 API를 활용하고, 특정 작업을 수행할 수 있도록 지원한다.
Cloudflare 개발자 문서 개선: llms.txt 파일 최적화
Cloudflare는 자사 개발자 문서의 llms.txt 파일 구조를 개선하여, AI 에이전트의 정보 접근성을 향상시켰다.
분할된 llms.txt 파일: 대규모 문서의 경우, 단일 파일 대신, 각 디렉토리별로 분할된 llms.txt 파일을 생성하여, 에이전트의 컨텍스트 윈도우(Context Window) 제약을 해결했다.
의미 있는 컨텍스트(Context) 제공: 각 llms.txt 항목에 페이지 제목, 설명, URL 구조 등, 풍부한 메타데이터를 포함하여, 에이전트가 필요한 정보를 정확하게 찾도록 돕는다.
불필요한 정보 제거: 디렉토리 목록 페이지와 같이, LLM에 유용하지 않은 페이지를 제거하여, 에이전트의 검색 효율성을 높였다. 이러한 개선을 통해, 에이전트는 필요한 페이지를 더 빠르게 식별하고, 마크다운(Markdown) 형식으로 가져올 수 있다.
Markdown content negotiation을 통한 토큰 절감 효과
Cloudflare는 Markdown content negotiation을 통해, AI 에이전트가 웹사이트의 콘텐츠를 더 효율적으로 소비하도록 지원한다.
HTML vs Markdown: HTML 형식의 콘텐츠보다, Markdown 형식의 콘텐츠가 토큰(Token) 사용량을 최대 80%까지 절감할 수 있다.
응답 속도 향상: 토큰 사용량 감소는, 에이전트의 응답 속도를 향상시키고, 더 많은 정보를 컨텍스트 윈도우(Context Window) 내에 포함할 수 있게 한다.
/index.md URL 활용: 모든 페이지에 대해, /index.md 경로를 통해 Markdown 버전을 제공하여, 에이전트가 Markdown 콘텐츠에 쉽게 접근하도록 지원한다.
이러한 전략은, AI 에이전트의 성능을 향상시키고, 비용을 절감하는 데 기여한다.
AI 훈련 크롤러(AI Training Crawlers) 리디렉션 전략
Cloudflare는 AI 훈련 크롤러(AI Training Crawlers)를 위한 리디렉션(Redirection) 전략을 통해, AI 에이전트가 최신 정보를 활용하도록 돕는다.
구현 배경: Wrangler v1과 같이, 더 이상 사용되지 않는 레거시(Legacy) 제품에 대한 정보가, AI 에이전트에게 잘못된 정보를 제공할 수 있는 문제를 해결한다.
리디렉션 구현: AI 훈련 크롤러를 감지하여, 더 이상 사용되지 않는 콘텐츠 대신, 최신 정보를 담고 있는 페이지로 리디렉션한다.
결과: AI 에이전트가 최신 정보를 기반으로 답변을 생성하도록 유도하여, 정확성을 높이고, 사용자에게 최신 정보를 제공한다. 이러한 전략은, AI 모델의 정확성을 유지하고, 사용자 경험을 향상시키는 데 기여한다.
Agentic Commerce 표준 지원
Cloudflare는 Agentic Commerce 표준을 지원하여, AI 에이전트가 웹사이트에서 직접 구매를 수행할 수 있도록 지원한다.
x402 표준: HTTP 402 Payment Required 상태 코드를 활용하여, 에이전트가 결제를 수행하도록 유도한다. 에이전트는 리소스를 요청하고, 402 응답을 받으면, 결제 정보를 확인하고, 결제를 완료한 후, 다시 요청을 보낸다.
Universal Commerce Protocol 및 Agentic Commerce Protocol: 에이전트가 전자상거래(e-commerce) 웹사이트에서 제품을 검색하고, 구매할 수 있도록 설계된, 새로운 표준을 지원한다.
향후 전망: Agentic Commerce 표준은, AI 에이전트가 웹 환경에서 더욱 다양한 작업을 수행할 수 있도록 지원하며, 웹 생태계의 변화를 가속화할 것으로 예상된다.
