MSK Connect, Avro, DataDog 활용 노하우 공개!
by DD
2년 전
조회수 11
AWS MSK Connect 도입을 통해 CDC(Change Data Capture) 기반의 비동기 통신 시스템을 구축함
Avro Format과 AWS Glue Schema Registry를 활용하여 데이터 압축 24배를 달성함
DataDog 연동을 통해 MSK의 주요 지표를 모니터링하고, 안정적인 운영 환경을 구축함
MSK 클러스터의 안정적인 운영 전략
Replication Factor 설정을 통해 데이터 손실을 방지하고, 장애 발생 시 Follower Partition을 Leader Partition으로 승격시킨다. 따라서, 데이터 일관성을 유지하며 서비스 가용성을 확보한다.
Avro Format을 활용한 데이터 압축
Avro Format과 AWS Glue Schema Registry를 사용하여 데이터 저장 용량을 획기적으로 줄인다. Json Format 대비 24배 압축 효과를 통해 저장 공간 절약 및 전송 속도 향상을 달성한다. 결과적으로, MSK 운영 비용을 절감한다.
MSK Connect 모니터링 및 Dead Letter Queue
DataDog을 활용하여 MSK의 주요 지표를 모니터링하고, Serde 오류 발생 시 DLQ(Dead Letter Queue)를 통해 안전하게 처리한다. 따라서, 서비스 안정성을 확보하고, 데이터 손실을 최소화한다.
