웹 스크래핑 봇 차단, 효과적인 방법은?

게시물에서는 IP 차단의 단점을 지적하며, ASN(Autonomous System Number)을 활용한 차단이 더 효과적이라고 설명한다. 특히, 호스팅 서비스의 ASN을 차단하여 봇 트래픽을 줄일 수 있다고 강조한다. 또한, User Agent 헤더(User Agent Header)를 분석하여 기본적인 봇을 식별하는 방법도 제시하지만, 쉽게 우회될 수 있다는 점을 언급한다.

게시물은 JA4 해시(Hash)와 같은 클라이언트 지문 기술이 User Agent보다 정교한 봇 탐지 기능을 제공한다고 설명한다. 이러한 기술은 봇의 특징을 분석하여 차단하는 데 효과적이지만, 봇 제작자가 지속적으로 우회 방법을 개발할 수 있다는 한계점을 지적한다. 즉, 지속적인 봇과의 경쟁(Continuous Battle)이 필요하다는 점을 강조한다.

댓글에서는 Cloudflare를 활용하여 봇 공격을 효과적으로 방어하는 방법을 제시한다. 특히, Cloudflare의 'Under Attack' 모드를 사용하면 대부분의 봇을 차단할 수 있다고 언급한다. 이 모드는 봇이 200 응답 코드를 받지 못하면 무한정 재시도하는 특성을 활용하여 봇의 접근을 막는다고 설명한다.

댓글에서는 봇에게 가짜 데이터(Fake Data)를 제공하여 봇의 활동을 중단시키는 전략을 제시한다. 이는 봇이 가짜 데이터를 수집하고 처리하는 과정에서 오류를 발생시켜 봇의 효율성을 떨어뜨리는 방법이다. 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 봇이 실제 데이터에 접근하지 못하도록 하는 방법과 유사하다.