AI 크롤러 공격, Forgejo 인스턴스는 어떻게 방어할까?

Forgejo 인스턴스를 대상으로 하는 AI 웹 크롤러의 과도한 접근을 막기 위한 다양한 방어 전략이 제시됨

JS + 쿠키 게이트를 활용하여 무분별한 접근을 막고, 레이트 제한을 통해 자원 고갈을 방지하는 방법이 논의됨

커뮤니티에서는 Cloudflare를 활용한 방어, 'zip 파일 다운로드' 기능 비활성화 등, 실질적인 방어 기법에 대한 의견이 공유됨

AI 크롤러 공격 패턴 분석

일반적인 AI 크롤러는 무차별적인 URL 접근을 시도하며, Git forge의 경우 모든 커밋/파일 조합이 고유 URL로 존재하여 공격 표면이 넓어진다. 따라서, JS + 쿠키 게이트를 통해 헤드리스 브라우저 실행을 요구하여 자원 소모를 유도하고, 레이트 제한을 통해 과도한 요청을 차단하는 것이 효과적이다.

실질적인 방어 기법 비교

Cloudflare를 활용하여 트래픽을 필터링하고, 비정상적인 포트 접근을 차단하는 방법이 제시된다. 반면, Cloudflare의 중앙 집중화에 대한 우려도 제기된다. 'zip 파일 다운로드' 기능 비활성화는 자원 고갈을 막는 효과적인 방법으로, 레이트 제한과 함께 적용하여 방어 효과를 높일 수 있다.

Forgejo 인스턴스 방어 전략

AI 크롤러의 공격을 막기 위해 레이트 제한과 의도 명시를 결합하여 과도한 요청을 방지해야 한다. 구체적으로, /raw, 커밋별 뷰, 'zip 파일 다운로드'와 같은 자원 소모적인 경로에 대한 레이트 제한을 설정하고, JS + 쿠키 게이트를 통해 봇의 접근을 어렵게 만들어야 한다. 따라서, 안정적인 서비스 운영을 위해 지속적인 모니터링과 개선이 필요하다.