웹 스크래핑 방지 기술 'Anubis'의 등장, 개발자들은 어떻게 생각할까?
웹사이트 스크래핑을 방지하기 위한 'Anubis' 기술이 소개됨
Proof-of-Work 방식을 활용하여 스크래핑 비용을 증가시킴
Headless Browser 식별을 통해 사용자 경험 저해를 최소화하려는 시도
JShelter와 같은 플러그인과의 호환성 문제 발생
Anubis의 작동 원리: Proof-of-Work
Anubis는 웹 스크래핑을 방지하기 위해 Proof-of-Work(PoW) 방식을 사용한다. 이는 이메일 스팸 감소를 위해 제안된 Hashcash와 유사한 방식으로, 스크래핑 봇이 웹 페이지에 접근하기 전에 계산 작업을 수행하도록 요구한다. 개별 사용자(Individual User)에게는 미미한 부하를 주지만, 대규모 스크래핑 봇에게는 자원 소모(Resource Consumption)를 증가시켜 스크래핑 시도를 어렵게 만든다.
Headless Browser 식별 및 사용자 경험 개선
Anubis는 Headless Browser를 식별하기 위한 기술 개발에도 집중하고 있다. 특히 폰트 렌더링(Font Rendering) 방식을 통해 Headless Browser를 식별하여, 정당한 사용자는 PoW 챌린지를 거치지 않도록 하는 것을 목표로 한다. 이는 사용자 경험을 저해하지 않으면서 스크래핑 봇을 효과적으로 차단하기 위한 핵심 전략(Core Strategy)이다.
JShelter 플러그인과의 호환성 문제
Anubis는 최신 JavaScript 기능(Modern JavaScript Features)을 사용하므로, JShelter와 같은 플러그인과의 호환성 문제가 발생할 수 있다. JShelter는 이러한 기능을 비활성화하여 Anubis의 PoW 챌린지를 통과하지 못하게 할 수 있다. 따라서 Anubis를 사용하기 위해서는 JShelter와 같은 플러그인을 비활성화해야 하며, 이는 사용자에게 추가적인 설정(Additional Configuration)을 요구한다.
