EKS, Spot, RabbitMQ 조합으로 데이터 파이프라인 비용 90% 절감!
by DD
3개월 전
조회수 26
Config는 로봇 조작 데이터를 처리하기 위해 Amazon EKS, EC2 Spot Instances, RabbitMQ, KEDA, Karpenter를 활용한 데이터 파이프라인을 구축
기존 SQS + Lambda 기반의 단일 큐(Single Queue) 방식에서 Job별 동적 큐(Dynamic Queue)를 도입하여 병렬 처리 성능을 향상시킴
EC2 Spot Instances 활용 및 아키텍처 개선을 통해 처리 비용을 70~90% 절감하고 처리 시간을 단축
Karpenter를 활용하여 워크로드 특성에 맞는 다양한 Spot Instance를 프로비저닝하고, Spot 중단에 대한 다층 보호 전략을 구현
이 아키텍처는 로봇 데이터 전처리뿐 아니라 영상 인코딩, ML 추론 파이프라인, 대규모 ETL 등 다양한 워크로드에 적용 가능
기존 아키텍처의 문제점: 단일 큐 병목
기존 SQS + Lambda 기반 아키텍처는 단일 큐(Single Queue) 구조로 인해 다수의 작업 요청 시 순차적인 대기열(Queue) 발생이 불가피했다. 특히, 대규모 배치 작업이 큐를 점유하면 다른 소규모 작업까지 지연되는 문제가 발생했다.
AWS Lambda의 기본 제약: 계정 수준의 동시 실행 할당량 및 최대 실행 시간 제한(15분) 존재
