AI 에이전트가 직접 웹사이트 SEO 감사를 자동화하다!
수동 SEO 감사(Manual SEO Audit)의 비효율성을 해결하기 위해 AI 기반 에이전트(AI-powered Agent)를 구축
크롬(Chromium) 브라우저 자동화, 클로드 API(Claude API) 활용 및 비동기 링크 검사(Asynchronous Link Checking)를 통해 웹 페이지 감사 수행
자체 콘텐츠 감사 결과, 7개의 URL에서 문제점 발견 및 자동화된 보고서 생성 확인
브라우저 셀렉터(Browser Selector) 대신 접근성 트리(Accessibility Tree) 기반으로 페이지 요소 감지하여 유지보수성 향상
AI 에이전트 아키텍처: 브라우저 자동화와 LLM의 결합
본문에서는 브라우저 자동화(Browser Automation)와 LLM(Large Language Model) API를 결합하여 웹 페이지 감사를 자동화하는 아키텍처를 제시한다.
Playwright를 사용하여 실제 웹 페이지를 렌더링하고, Claude API(Sonnet)를 통해 페이지 내용을 분석하여 구조화된 JSON 형태로 결과를 반환
httpx를 활용한 비동기 링크 검사(Asynchronous Link Checking)로 성능을 개선하고, 플랫 JSON 파일(Flat JSON Files)을 사용하여 감사 상태를 저장
HITL(Human-in-the-loop) 로직을 통해 에이전트의 한계를 인지하고, 자동 모드와 대화형 모드를 지원하여 유연성을 확보
이러한 아키텍처는 웹 페이지 구조 변경에 유연하게 대응하며, 유지보수 비용을 절감하는 데 기여한다.
셀렉터(Selector) 기반 자동화의 한계 극복
기존 브라우저 자동화 도구(Selenium, Puppeteer)는 페이지 요소 선택을 위해 셀렉터(Selector)에 의존하여, 웹 페이지 구조 변경에 취약하다.
본 에이전트는 접근성 트리(Accessibility Tree)를 활용하여 페이지 요소를 인식, CSS 클래스 변경에 관계없이 의미 기반(Semantic-based)으로 요소 감지
Claude API의 프롬프트(Prompt)를 통해 추출 로직을 정의하여, 코드 변경 없이 유연하게 대응
유지보수성(Maintainability) 향상 및 오류 발생 시 복구 용이성을 확보
결과적으로, 셀렉터 기반 자동화의 취약성을 극복하고, 웹 페이지 구조 변화에 강건한 시스템을 구축했다.
실제 운영 환경 적용을 위한 고려 사항
실제 운영 환경에서 AI 에이전트를 활용하기 위해서는 몇 가지 추가적인 고려 사항이 필요하다.
API 키 관리(API Key Management): 환경 변수를 사용하여 API 키를 안전하게 관리하고, .bat 파일(Batch File)을 통해 자동화 스크립트 실행
스케줄링(Scheduling): Windows 작업 스케줄러(Windows Task Scheduler)를 사용하여 정기적인 감사 실행
오류 처리 및 예외 처리(Error Handling and Exception Handling): 에이전트의 안정성을 위해, 오류 발생 시 재시도(Retry) 또는 수동 검토(Manual Review)를 위한 로직 구현
비용 최적화(Cost Optimization): API 호출 비용을 최소화하고, 로컬 환경(Local Environment)에서 브라우저 실행
이러한 요소들을 고려하여, 지속 가능한 자동화 시스템(Sustainable Automation System)을 구축할 수 있다.
AI 에이전트 구축의 경제적 효과
AI 에이전트 구축은 비용 절감(Cost Reduction)과 생산성 향상(Productivity Improvement)이라는 두 가지 주요 경제적 효과를 가져온다.
API 호출 비용(API Call Cost): URL당 약 0.002달러로, 20개 URL에 대한 주간 감사는 0.05달러 미만
인건비 절감(Labor Cost Reduction): 수동 SEO 감사 작업에 소요되는 시간을 절약하고, 인적 오류(Human Error)를 방지
유지보수 비용(Maintenance Cost): 셀렉터 기반 자동화 대비, 유지보수 비용 절감 및 확장성(Scalability) 확보
결과적으로, AI 에이전트 구축은 적은 비용으로 높은 효율(High Efficiency)을 달성할 수 있는 효과적인 방법이다.
