토스페이먼츠, Druid, StarRocks 도입으로 데이터 서빙 혁신!
by DD
5개월 전
조회수 136
MSA 환경에서 데이터 폭증에 따른 성능 저하 문제를 해결하기 위해 Druid를 도입함
CQRS 아키텍처와 Druid SQL을 활용하여 실시간 집계 성능을 확보하고, 비용 절감 효과를 얻음
StarRocks 도입을 통해 조인 성능을 개선하고, 멱등성 처리를 강화하여 데이터 일관성을 확보함
Druid 아키텍처와 CQRS 패턴
토스페이먼츠는 CQRS 패턴을 적용하여 읽기(Read)와 쓰기(Write)를 분리했다. Apache Druid를 도입하여 시계열 데이터에 최적화된 집계 쿼리를 구현했다. 따라서 수십억 건 데이터를 저지연으로 조회하고, 실시간 매출 확인이 가능해졌다.
StarRocks 도입과 성능 개선
Druid의 한계를 보완하기 위해 StarRocks를 도입하여 조인 성능을 향상시켰다. Colocation Group을 활용하여 조인 연산 시 네트워크 이동을 최소화했다. 결과적으로 84.6%의 성능 개선을 달성하고, 데이터 일관성을 확보했다.
비용 효율적인 데이터 서빙 구조
토스페이먼츠는 AWS S3를 활용하여 스토리지 비용을 절감했다. Spot Instance를 적극 활용하여 운영 비용을 낮추고, 가용 영역 분산을 통해 고가용성 환경을 구축했다. 따라서 월 5천만 원 이상의 클라우드 비용 절감 효과를 얻었다.
