AI 스크래핑 봇, 웹사이트를 위협하다

커뮤니티에서는 주거용 프록시(Residential Proxies)가 합법적인 VPN 서비스로 위장하여 실제 사용자 기기를 통해 웹사이트를 공격하는 합법화된 봇넷(Legalized Botnets)과 같다고 지적합니다. 수백만 개의 IP 주소를 동원하여 데이터 격리 아키텍처(Data Isolation Architecture)를 우회하고, 탐지를 피하기 위해 이미지나 CSS 로드 없이 요청만 보내는 방식으로 작동한다고 설명합니다. 이는 GDPR 규제 준수(GDPR Compliance)를 표방하는 업체들도 존재하여 문제의 심각성을 더합니다.

논의에서는 링크 검사기(Link Checkers)나 채팅 앱의 링크 미리보기(Link Previews)와 같은 부가 서비스가 스크래핑 트래픽으로 인해 정상적인 작동에 어려움을 겪는다고 언급합니다. 특히, '인간 증명(Human Verification)' 단계에서 자주 차단되어 서비스 품질이 저하되는 현상이 나타난다고 합니다. 이는 데이터 수집(Data Collection)을 위한 과도한 트래픽이 정상적인 웹 서비스 이용까지 방해하는 사례입니다.

일부 개발자들은 CDN 의존성보다는 서버 자체 성능 최적화를 우선해야 한다고 주장합니다. 데이터베이스 쿼리(Database Queries) 감소, 정적 콘텐츠(Static Content) 서빙 강화, 캐싱(Caching) 전략 고도화 등을 통해 부하를 줄여야 한다고 말합니다. 특히 Apache의 prefork MPM 방식 대신 worker MPM이나 Caddy와 같은 현대적인 웹 서버 도입을 고려해야 한다는 의견이 제시됩니다. 이는 애플리케이션 레벨(Application Level)에서의 효율성 증대가 중요함을 시사합니다.

Apache의 성능 저하 원인으로 `mod_php`와 같이 스레드 안전성(Thread Safety)이 보장되지 않는 모듈 사용 시, 기본적으로 prefork MPM 방식이 강제되는 점이 지적되었습니다. 이는 LAMP 스택(LAMP Stack)의 기본 설정이 최적화되지 않아 트래픽 버스트(Traffic Burst) 시 병목 현상을 유발할 수 있음을 보여줍니다. PHP-FPM과 같은 대안 사용을 통해 성능 개선이 가능함을 시사합니다.

Cloudflare와 같은 상용 솔루션이 봇 트래픽(Bot Traffic) 차단에 효과적이라는 경험이 공유되었습니다. 하지만 이러한 솔루션은 중앙 집중화(Centralization) 및 정부 감시(Government Surveillance)에 대한 우려를 낳으며, 궁극적으로는 웹 브라우저 인증(Browser Verification)과 같은 사용자 경험 저하를 초래할 수 있다는 비판도 존재합니다. 따라서 오픈 웹(Open Web)의 가치를 지키기 위한 균형 잡힌 접근이 필요함을 강조합니다.