AI 스크래핑 봇, 오픈 웹을 위협하다

커뮤니티에서는 주거용 프록시가 악성코드(Malware)나 합법적인 서비스(Legitimate Services)를 통해 사용자 동의 없이 기기의 네트워크 연결을 탈취하여 작동한다고 지적합니다. 특히 Bright Data와 같은 기업은 VPN 서비스를 제공하며 사용자의 기기를 프록시 네트워크의 일부로 활용합니다. 이러한 방식은 데이터 격리 아키텍처(Data Isolation Architecture)를 우회하며, GDPR 규제 준수(GDPR Compliance)를 표방하는 기업도 있어 혼란을 야기합니다. 이는 AI 환각(Hallucination) 방지를 위한 데이터 수집 과정에서 심각한 윤리적 문제를 제기합니다.

수백만 개의 고유 IP 주소에서 발생하는 동시 다발적 요청은 웹사이트에 과도한 트래픽을 유발하며, 일반 사용자 트래픽과 구별하기 어렵게 만듭니다. 봇은 이미지나 CSS를 로드하지 않는 등 비정상적인 행동 패턴(Abnormal Behavior Patterns)을 보이지만, IP가 즉시 변경되어 차단이 무의미합니다. 이러한 공격은 오픈 웹(Open Web)의 유지보수를 어렵게 만들고, 콘텐츠 제작자(Content Creators)의 권리를 침해한다는 비판이 제기됩니다.

Anubis와 같은 작업 증명(Proof-of-Work) 방식은 봇 트래픽을 줄이는 데 사용되지만, 소프트웨어 자유 원칙(Software Freedom Principles)에 위배된다는 비판이 있습니다. FSF는 Anubis의 JavaScript 프로그램이 사용자의 CPU를 점유하는 것을 악성코드(Malware)와 유사하다고 간주합니다. 또한, 이러한 방어 메커니즘은 사용자 경험(User Experience)을 저하시키고, 결국 봇이 우회책을 찾을 것이라는 예측이 지배적입니다. 로그인 게이트(Login Gates)나 유료 월(Paywalls)로 전환하는 것도 대안으로 언급됩니다.

일부 논의에서는 Common Crawl과 같은 공개 데이터셋(Public Datasets)을 개선하여 AI 연구자들이 웹사이트에 직접적인 부하를 주지 않고도 데이터를 접근할 수 있도록 해야 한다고 주장합니다. 이는 데이터 접근성(Data Accessibility)을 높여 AI 연구의 진입 장벽을 낮추는 동시에, 웹사이트에 대한 과도한 트래픽을 줄이는 효과를 기대할 수 있습니다. 하지만 이러한 접근 방식이 Cloudflare와 같은 특정 기업의 영향력을 강화할 수 있다는 우려도 존재합니다.

주거용 프록시 네트워크 운영 방식은 윤리적 기준(Ethical Standards)에 대한 의문을 제기합니다. 일부는 합법성을 가장하지만, 실제로는 데이터 미저장 정책(Zero-Retention Policy)을 지키지 않거나 사용자 동의 없이 네트워크를 활용합니다. Google과 FBI의 NetNut 네트워크 단속 사례가 있었지만, 이는 일시적인 효과에 그칠 가능성이 높습니다. AI 모델 개발 기업들이 이러한 네트워크를 사용하는지에 대한 불확실성은 더 큰 불안감을 조성하며, 최소한의 윤리적 기준을 적용해야 한다는 목소리가 커지고 있습니다.