Kafka Connect로 DB 데이터를 Kafka로 간편하게!
by DD
1년 전
조회수 17
Kafka Connect를 사용해 DB 데이터를 Kafka로 손쉽게 전송하는 방법을 소개
JDBC 커넥터를 활용한 데이터베이스 연동 및 증분 쿼리 모드 설명
데이터 누락을 방지하기 위한 다양한 케이스와 timestamp.delay.interval.ms 옵션 활용법 제시
Kafka Connect 아키텍처 심층 분석
Kafka Connect는 커넥터(Connector), 태스크(Task), 워커(Worker)로 구성된 프레임워크이다. 구체적으로 JDBC 커넥터를 통해 DB 데이터를 Kafka로 전송한다. 따라서 소스/싱크 커넥터를 활용하여 데이터 파이프라인을 구축하고, 데이터 변환(Transform) 및 포맷 변환(Converter)을 수행한다.
JDBC 소스 커넥터의 장단점 비교
JDBC 소스 커넥터는 증분 쿼리 모드를 통해 변경된 데이터만 효율적으로 추출한다. 반면, 의 위험이 존재하며, 특히 및 작업 시 주의해야 한다. 따라서 옵션을 활용하여 데이터 누락을 완화하고, 을 확보해야 한다.
