Netflix는 Write-Ahead Log(WAL) 시스템을 구축하여 데이터 일관성, 안정성 확보
WAL은 Kafka, SQS 등 다양한 큐를 지원하며, 데이터 변경 사항을 안전하게 저장
지연 큐, Cross-Region Replication, Multi-Table Mutations 등 다양한 데이터 문제를 해결
WAL은 Message Producer와 Message Consumer를 분리하여 유연성을 확보한다. 구체적으로, Kafka와 SQS를 지원하며, 각 네임스페이스는 자체적인 큐와 DLQ(Dead Letter Queue)를 갖는다. 따라서, 데이터 손실 방지 및 장애 격리에 효과적이다.
WAL은 플러그 가능한 아키텍처를 통해 다양한 타겟(데이터베이스, 캐시, 큐)을 지원한다. , , 등 다양한 문제 해결에 기여한다. 반면, 에 대한 트레이드오프를 고려하여 설계되었다.
Netflix는 지연 큐를 통해 Live Origin의 삭제 요청을 관리하여 성능 문제를 해결했다. 또한, EVCache의 Cross-Region Replication을 위해 WAL을 활용하여 데이터 일관성을 확보했다. 결과적으로, Multi-Table Mutations API를 구현하여 데이터 무결성을 보장한다.