AWS S3, HDD로 1PB/s 처리하는 비결은?

S3는 Power of Two Random Choices 기법을 활용하여 데이터 배치 시 로드 밸런싱을 수행한다. 새로운 데이터는 임의의 HDD 세트에 배치되며, 다음 PUT 요청은 다른 HDD 세트를 선택한다. 또한, 데이터의 핫스팟을 방지하기 위해 지속적인 데이터 재분배(Continuous Rebalancing)를 수행한다. 이러한 전략은 시스템의 전반적인 성능을 향상시키고, HDD의 I/O 병목 현상을 완화하는 데 기여한다.

S3는 멀티 테넌시(Multi-tenancy)를 통해 비용 효율성을 극대화한다. 여러 고객의 데이터를 공유하는 방식으로, 개별 고객이 자체적으로 대규모 HDD 인프라를 구축하는 것보다 훨씬 저렴하게 서비스를 제공할 수 있다. 이는 S3가 대규모 데이터 인프라를 구축하고 운영하는 데 있어 중요한 요소이며, 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 각 테넌트의 데이터를 안전하게 보호한다.

S3는 백업, 비디오, 이미지 저장에서 시작하여 현재는 분석 및 머신 러닝을 위한 주요 스토리지 시스템으로 발전했다. 최근에는 Diskless 트렌드를 통해 로컬 디스크 대신 S3를 활용하는 사례가 증가하고 있으며, 이는 비용 절감 효과를 가져온다. Apache Kafka와 같은 시스템에서도 S3를 활용하여 콜드 데이터를 저장하는 등, 데이터 인프라 전반에서 S3의 역할이 더욱 중요해지고 있다.