클라우드플레어(Cloudflare) BYOIP 장애: API 버그로 인한 서비스 중단

본문에 따르면, 클라우드플레어(Cloudflare)의 BYOIP 서비스에서 고객의 IP 주소를 관리하는 과정에서 API 쿼리(API Query)의 버그가 발생하여 장애가 발생했다. 구체적으로, 접두사 삭제를 위한 서브 태스크(Sub-task)가 `pending_delete` 파라미터(Parameter)를 잘못 처리하여, 모든 BYOIP 접두사를 삭제하는 결과를 초래했다.

결과적으로, API 설계(API Design)의 취약점과 테스트 프로세스(Testing Process)의 미흡함이 복합적으로 작용하여 대규모 장애로 이어졌다.

장애 발생 후 클라우드플레어(Cloudflare)는 여러 단계에 걸쳐 복구를 시도했다. 초기에는 고객이 직접 대시보드(Dashboard)를 통해 IP 주소를 재광고하도록 안내했지만, 일부 고객은 서비스 바인딩(Service Binding) 문제로 인해 복구에 실패했다.

결과적으로, 데이터 격리 아키텍처(Data Isolation Architecture) 부재로 인해 복구 과정이 복잡해졌으며, 수동 개입(Manual Intervention)이 불가피했다.

이번 장애는 클라우드플레어(Cloudflare)의 다양한 서비스에 영향을 미쳤다. 핵심 CDN(CDN) 및 보안 서비스(Security Service)는 트래픽(Traffic) 유입이 차단되었고, 스펙트럼(Spectrum) 서비스는 트래픽 프록싱(Traffic Proxying)에 실패했다. 또한, 게이트웨이(Gateway) 전용 이그레스(Egress) 및 매직 트랜짓(Magic Transit) 고객은 트래픽 전송에 어려움을 겪었다.

결론적으로, BYOIP를 사용하는 모든 서비스가 광범위한 서비스 중단(Service Disruption)을 겪었으며, 고객 경험에 심각한 악영향을 미쳤다.

클라우드플레어(Cloudflare)는 이번 장애를 계기로 시스템 안정성(System Stability)을 강화하기 위한 다양한 개선 방안을 제시했다. 주요 개선 사항은 API 스키마 표준화(API Schema Standardization), 데이터 격리 아키텍처(Data Isolation Architecture) 개선, 대규모 삭제 작업에 대한 제어 기능 도입 등이다.

이러한 노력은 코드 오렌지(Code Orange) 프로젝트의 일환으로 진행되며, 시스템의 안정성(Stability) 및 복원력(Resilience) 향상을 목표로 한다.

이번 장애는 클라우드플레어(Cloudflare)가 진행 중인 코드 오렌지(Code Orange) 프로젝트의 일환으로 시도된 변경 사항에서 발생했다. 코드 오렌지(Code Orange)는 시스템의 안정성(System Stability)을 높이기 위해 자동화된 배포(Automated Deployment) 및 롤백(Rollback) 기능을 강화하는 것을 목표로 한다.

이번 장애는 코드 오렌지(Code Orange)의 목표와는 반대로, 안전하지 않은 변경(Unsafe Change)으로 인해 발생했다는 점에서 시사하는 바가 크다.