구글 Colossus, SSD 캐싱으로 데이터 접근 속도 혁신!
구글의 분산 스토리지 시스템인 Colossus는 다양한 제품의 요구사항을 충족하며, TB/s 수준의 처리량을 제공함
SSD 캐싱(SSD Caching) 및 SSD 데이터 배치(SSD Data Placement) 기술을 통해 성능을 최적화하고 비용 효율성을 달성함
L4 시스템은 애플리케이션의 접근 패턴을 분석하여 자동으로 SSD에 데이터를 배치하며, ML 기반 알고리즘을 활용함
L4 writeback 기능을 통해 파일 생성 시점부터 SSD 또는 HDD에 배치할지 결정하고, 온라인 시뮬레이션(Online Simulation)을 통해 최적의 정책을 선택함
Colossus의 아키텍처 개요
Colossus는 구글 파일 시스템(GFS)의 진화된 형태로, 파일 시스템의 친숙한 프로그래밍 인터페이스와 객체 스토리지의 확장성을 결합했다. Colossus는 단일 데이터 센터 내에서 작동하며, 메타데이터 서비스는 파일 생성 및 삭제와 같은 제어 작업을 처리하는 '큐레이터(Curators)'와 데이터의 내구성과 가용성을 관리하는 '커스터디언(Custodians)'으로 구성된다. Colossus 클라이언트는 큐레이터와 상호 작용하여 메타데이터를 얻은 후, HDD 또는 SSD를 호스팅하는 'D 서버'에 직접 데이터를 저장한다.
L4 기반의 SSD 캐싱 기술
L4는 Colossus의 핵심 기술로, 애플리케이션의 접근 패턴을 분석하여 SSD에 적합한 데이터를 자동으로 배치한다. L4 read cache는 L4 index 서버를 통해 캐시 여부를 확인하고, 캐시 미스 시에는 HDD에서 데이터를 가져와 SSD에 저장한다. L4는 머신러닝(ML) 기반 알고리즘을 사용하여 각 워크로드에 대한 최적의 정책을 결정하며, 캐시 삽입 시점(쓰기, 첫 번째 읽기 후, 두 번째 읽기 후)을 결정한다. 이러한 접근 방식은 데이터 접근 속도를 향상시킨다.
L4 Writeback을 활용한 데이터 배치
L4 writeback은 파일 생성 시점에 파일 유형 및 메타데이터를 기반으로 SSD 또는 HDD에 배치할지 결정한다. L4는 파일의 I/O 패턴을 분석하여 온라인 시뮬레이션을 수행하고, 최적의 배치 정책을 선택한다. 이러한 시뮬레이션은 SSD 용량에 따른 I/O 오프로드(Offload) 예측을 가능하게 하며, 새로운 SSD 하드웨어 구매 및 SSD 용량 할당 계획에 활용된다. L4 writeback은 데이터의 효율적인 저장 및 접근을 지원한다.
성능 및 비용 최적화 트레이드오프
Colossus는 SSD 캐싱 및 데이터 배치를 통해 성능과 비용 효율성을 동시에 달성한다. SSD를 활용한 데이터 배치는 빠른 데이터 접근을 가능하게 하지만, SSD의 비용 문제를 고려해야 한다. L4 시스템은 이러한 트레이드오프를 해결하기 위해, ML 기반 알고리즘과 온라인 시뮬레이션을 활용하여 데이터 접근 패턴을 분석하고, 최적의 저장 위치를 결정한다. 궁극적으로, Colossus는 사용자에게 HDD, SSD, Colossus에 대한 전문 지식 없이도 최적의 성능을 제공하는 것을 목표로 한다.
