Kafka, OS의 힘을 빌려 성능을 극대화하다!
by DD
6개월 전
조회수 9
Kafka는 OS 페이지 캐시와 Zero-Copy 기술을 활용하여 I/O 성능을 최적화함
JVM 힙 메모리를 우회하여 GC 오버헤드를 줄이고, sendfile API를 통해 데이터 복사 횟수를 최소화함
커뮤니티에서는 Redis, PostgreSQL 등 다른 시스템과의 유사성을 언급하며, TLS 암호화 환경에서의 제약 사항을 지적함
Kafka의 OS 페이지 캐시 활용
Kafka는 OS 페이지 캐시를 활용하여 메모리 관리 오버헤드를 줄이고, 디스크 I/O 성능을 향상시킨다. 구체적으로, JVM 힙 메모리 대신 OS의 캐시를 사용하여 데이터 이중 버퍼링을 방지한다. 따라서 브로커 재시작 시에도 캐시가 유지되어 데이터 접근 속도를 보장하며, 쓰기-쓰루 캐싱 및 선행 읽기를 통해 성능을 최적화한다.
