수동 SEO 감사(Manual SEO Audit)의 비효율성을 해결하기 위해 AI 기반 에이전트(AI-powered Agent)를 구축
크롬(Chromium) 브라우저 자동화, 클로드 API(Claude API) 활용 및 비동기 링크 검사(Asynchronous Link Checking)를 통해 웹 페이지 감사 수행
자체 콘텐츠 감사 결과, 7개의 URL에서 문제점 발견 및 자동화된 보고서 생성 확인
브라우저 셀렉터(Browser Selector) 대신 접근성 트리(Accessibility Tree) 기반으로 페이지 요소 감지하여 유지보수성 향상
본문에서는 브라우저 자동화(Browser Automation)와 LLM(Large Language Model) API를 결합하여 웹 페이지 감사를 자동화하는 아키텍처를 제시한다.
Playwright를 사용하여 실제 웹 페이지를 렌더링하고, Claude API(Sonnet)를 통해 페이지 내용을 분석하여 구조화된 JSON 형태로 결과를 반환
httpx를 활용한 비동기 링크 검사(Asynchronous Link Checking)로 성능을 개선하고, 을 사용하여 감사 상태를 저장
HITL(Human-in-the-loop) 로직을 통해 에이전트의 한계를 인지하고, 자동 모드와 대화형 모드를 지원하여 유연성을 확보
이러한 아키텍처는 웹 페이지 구조 변경에 유연하게 대응하며, 유지보수 비용을 절감하는 데 기여한다.
기존 브라우저 자동화 도구(Selenium, Puppeteer)는 페이지 요소 선택을 위해 셀렉터(Selector)에 의존하여, 웹 페이지 구조 변경에 취약하다.
본 에이전트는 접근성 트리(Accessibility Tree)를 활용하여 페이지 요소를 인식, CSS 클래스 변경에 관계없이 의미 기반(Semantic-based)으로 요소 감지
Claude API의 프롬프트(Prompt)를 통해 추출 로직을 정의하여, 코드 변경 없이 유연하게 대응
유지보수성(Maintainability) 향상 및 오류 발생 시 복구 용이성을 확보
결과적으로, 셀렉터 기반 자동화의 취약성을 극복하고, 웹 페이지 구조 변화에 강건한 시스템을 구축했다.
실제 운영 환경에서 AI 에이전트를 활용하기 위해서는 몇 가지 추가적인 고려 사항이 필요하다.
API 키 관리(API Key Management): 환경 변수를 사용하여 API 키를 안전하게 관리하고, .bat 파일(Batch File)을 통해 자동화 스크립트 실행
스케줄링(Scheduling): Windows 작업 스케줄러(Windows Task Scheduler)를 사용하여 정기적인 감사 실행
오류 처리 및 예외 처리(Error Handling and Exception Handling): 에이전트의 안정성을 위해, 오류 발생 시 재시도(Retry) 또는 수동 검토(Manual Review)를 위한 로직 구현
비용 최적화(Cost Optimization): API 호출 비용을 최소화하고, 로컬 환경(Local Environment)에서 브라우저 실행
이러한 요소들을 고려하여, 지속 가능한 자동화 시스템(Sustainable Automation System)을 구축할 수 있다.
AI 에이전트 구축은 비용 절감(Cost Reduction)과 생산성 향상(Productivity Improvement)이라는 두 가지 주요 경제적 효과를 가져온다.
API 호출 비용(API Call Cost): URL당 약 0.002달러로, 20개 URL에 대한 주간 감사는 0.05달러 미만
인건비 절감(Labor Cost Reduction): 수동 SEO 감사 작업에 소요되는 시간을 절약하고, 인적 오류(Human Error)를 방지
유지보수 비용(Maintenance Cost): 셀렉터 기반 자동화 대비, 유지보수 비용 절감 및 확장성(Scalability) 확보
결과적으로, AI 에이전트 구축은 적은 비용으로 높은 효율(High Efficiency)을 달성할 수 있는 효과적인 방법이다.