실시간 마케팅 PoC, 12k RPS 부하 테스트 통과!
by DD
1년 전
조회수 13
실시간 마케팅을 위한 데이터 파이프라인 구축 PoC를 진행, Flink, Kinesis, Lambda 활용
12k RPS 부하 테스트를 통해 Lambda 병목 현상 및 ElasticSearch 성능 저하 문제 해결
SQS 도입 및 Flink 병렬성 증가를 통해 End-to-End 5초 이내 데이터 처리 성공
실시간 데이터 파이프라인 아키텍처
실시간 마케팅을 위해 SNS, Lambda, Kinesis, Flink, DB로 구성된 데이터 파이프라인을 구축했다. Terragrunt를 사용하여 AWS 자원을 코드로 관리하고, Drone CI를 통해 자동화된 배포 환경을 구축했다. 따라서 인프라 변경 사항을 효율적으로 관리하고, 안정적인 서비스 운영을 가능하게 했다.
부하 테스트와 성능 최적화
12k RPS 부하 테스트 과정에서 Lambda 병목 현상과 ElasticSearch 성능 저하 문제를 겪었다. SQS 도입을 통해 Lambda의 처리 속도를 개선하고, 을 높여 ES의 부하를 분산했다. 결과적으로 의 데이터 처리 시간을 달성하여 의 요구사항을 충족했다.
