AI 에이전트 시대, 웹사이트를 위한 새로운 기준 제시

분할된 llms.txt 파일: 대규모 문서의 경우, 단일 파일 대신, 각 디렉토리별로 분할된 llms.txt 파일을 생성하여, 에이전트의 컨텍스트 윈도우(Context Window) 제약을 해결했다.

의미 있는 컨텍스트(Context) 제공: 각 llms.txt 항목에 페이지 제목, 설명, URL 구조 등, 풍부한 메타데이터를 포함하여, 에이전트가 필요한 정보를 정확하게 찾도록 돕는다.

불필요한 정보 제거: 디렉토리 목록 페이지와 같이, LLM에 유용하지 않은 페이지를 제거하여, 에이전트의 검색 효율성을 높였다. 이러한 개선을 통해, 에이전트는 필요한 페이지를 더 빠르게 식별하고, 마크다운(Markdown) 형식으로 가져올 수 있다.

HTML vs Markdown: HTML 형식의 콘텐츠보다, Markdown 형식의 콘텐츠가 토큰(Token) 사용량을 최대 80%까지 절감할 수 있다.

응답 속도 향상: 토큰 사용량 감소는, 에이전트의 응답 속도를 향상시키고, 더 많은 정보를 컨텍스트 윈도우(Context Window) 내에 포함할 수 있게 한다.

/index.md URL 활용: 모든 페이지에 대해, /index.md 경로를 통해 Markdown 버전을 제공하여, 에이전트가 Markdown 콘텐츠에 쉽게 접근하도록 지원한다.

구현 배경: Wrangler v1과 같이, 더 이상 사용되지 않는 레거시(Legacy) 제품에 대한 정보가, AI 에이전트에게 잘못된 정보를 제공할 수 있는 문제를 해결한다.

리디렉션 구현: AI 훈련 크롤러를 감지하여, 더 이상 사용되지 않는 콘텐츠 대신, 최신 정보를 담고 있는 페이지로 리디렉션한다.

결과: AI 에이전트가 최신 정보를 기반으로 답변을 생성하도록 유도하여, 정확성을 높이고, 사용자에게 최신 정보를 제공한다. 이러한 전략은, AI 모델의 정확성을 유지하고, 사용자 경험을 향상시키는 데 기여한다.

x402 표준: HTTP 402 Payment Required 상태 코드를 활용하여, 에이전트가 결제를 수행하도록 유도한다. 에이전트는 리소스를 요청하고, 402 응답을 받으면, 결제 정보를 확인하고, 결제를 완료한 후, 다시 요청을 보낸다.

Universal Commerce Protocol 및 Agentic Commerce Protocol: 에이전트가 전자상거래(e-commerce) 웹사이트에서 제품을 검색하고, 구매할 수 있도록 설계된, 새로운 표준을 지원한다.

향후 전망: Agentic Commerce 표준은, AI 에이전트가 웹 환경에서 더욱 다양한 작업을 수행할 수 있도록 지원하며, 웹 생태계의 변화를 가속화할 것으로 예상된다.