웹 스크래핑 방지 기술 Anubis, 그 기술적 배경은?

Anubis는 웹사이트 스크래핑을 방지하기 위해 Proof-of-Work(PoW) 방식을 채택했다. 이는 이메일 스팸 감소를 위해 제안된 Hashcash와 유사한 방식으로, 개별 사용자에겐 미미한 부하를 주지만 대규모 스크래핑 시도는 비용을 증가시킨다. 특히, Anubis는 스크래핑 봇(Scraping Bot)의 자원 소모를 유도하여 웹사이트의 자원 고갈을 방지하는 데 초점을 맞춘다. 이는 웹사이트의 가용성(Availability)을 보장하는 데 기여한다.

Anubis는 최신 JavaScript 기능을 사용하므로, JShelter와 같은 플러그인 사용 시 정상적인 작동이 어렵다. 이는 JShelter가 특정 JavaScript 기능을 비활성화하기 때문이다. 따라서 Anubis를 사용하기 위해서는 JShelter 또는 유사한 플러그인을 비활성화해야 한다. 이는 사용자 경험에 영향을 미칠 수 있으며, 웹사이트 관리자는 사용자에게 이러한 내용을 공지해야 한다.

Anubis 개발팀은 헤드리스 브라우저(Headless Browser)를 식별하기 위한 기술 개발에 집중하고 있다. 이는 폰트 렌더링 방식 등을 통해 이루어질 예정이다. 이러한 기술 개발을 통해, 정당한 사용자는 Proof-of-Work 챌린지를 거치지 않고 웹사이트를 이용할 수 있도록 하는 것을 목표로 한다. 이는 사용자 편의성을 높이고, 봇(Bot)과 실제 사용자(Real User)를 구분하는 데 기여할 것이다.