Spring Batch, Kafka 기반 데이터 추출 서비스 구축 노하우
by DD
2년 전
조회수 8
대용량 데이터 추출 시 동기적 방식의 문제점을 인지하고, Kafka 기반의 비동기 처리 방식으로 전환
Spring Batch를 활용하여 데이터 추출 작업을 병렬 처리하고, S3에 저장하여 재사용성 확보
비동기 이벤트 방식 도입으로 시스템 부하를 줄이고, 데이터 추출 속도 향상 및 안정성 개선
비동기 데이터 추출 아키텍처 설계
기존 동기 방식의 데이터 추출은 DB 부하 및 사용자 대기 시간을 증가시켰다. Kafka를 활용하여 비동기 이벤트 기반으로 변경하고, Spring Batch를 통해 병렬 처리를 구현했다. 따라서 시스템 안정성과 사용자 경험을 동시에 개선했다.
