실시간 마케팅 PoC, 12k RPS 부하 테스트 통과!
by DD
1년 전
조회수 11
실시간 마케팅을 위한 데이터 파이프라인 구축 PoC를 진행, Flink, Kinesis, Lambda 활용
12k RPS 부하 테스트를 통해 Lambda 병목 현상 및 ElasticSearch 성능 저하 문제 해결
SQS 도입 및 Flink 병렬성 증가를 통해 End-to-End 5초 이내 데이터 처리 성공
실시간 데이터 파이프라인 아키텍처
실시간 마케팅을 위해 SNS, Lambda, Kinesis, Flink, DB로 구성된 데이터 파이프라인을 구축했다. Terragrunt를 사용하여 AWS 자원을 코드로 관리하고, Drone CI를 통해 자동화된 배포 환경을 구축했다. 따라서 인프라 변경 사항을 효율적으로 관리하고, 안정적인 서비스 운영을 가능하게 했다.
부하 테스트와 성능 최적화
12k RPS 부하 테스트 과정에서 Lambda 병목 현상과 ElasticSearch 성능 저하 문제를 겪었다. SQS 도입을 통해 Lambda의 처리 속도를 개선하고, Flink 병렬성을 높여 ES의 부하를 분산했다. 결과적으로 End-to-End 5초 이내의 데이터 처리 시간을 달성하여 실시간 마케팅의 요구사항을 충족했다.
Flink 개발 시 유용한 팁
Flink 개발 시 Shaded Jar를 사용하여 의존성 충돌을 방지하고, StreamExecutionEnvironment 옵션 설정 시 주의해야 한다. LatencyGauge를 활용하여 End-to-End 갱신 시간을 측정하고, Locust를 사용하여 부하 테스트를 진행했다. 따라서 Flink 애플리케이션의 안정성과 성능을 향상시킬 수 있었다.
