SQLite에 Pub/Sub, 작업 큐를 더하다: Honker
by DD
3개월 전
조회수 10
Honker는 SQLite에 Postgres의 NOTIFY/LISTEN 기능을 추가하여, pub/sub, 작업 큐, 이벤트 스트림을 제공함
SQLite를 기본 데이터 저장소로 사용하는 프로젝트에서 Redis + Celery와 같은 별도 시스템 없이, 동일 파일 내에서 큐를 관리하는 방식
WAL 파일을 활용하여 폴링 없이, 단일 밀리초(millisecond) 단위의 빠른 응답 속도를 제공하며, 다양한 언어 바인딩 지원
커뮤니티에서는 동일 머신(machine) 내 IPC(Inter-Process Communication) 방식과 inotify 사용 가능성에 대한 논의가 있었음
Honker의 핵심 아키텍처: WAL 기반의 이벤트 알림
Honker는 SQLite의 WAL(Write-Ahead Logging) 파일 변경을 감지하여, 폴링(Polling) 방식 없이, cross-process 알림을 구현한다. 특히, stat(2) 시스템 콜을 사용하여 WAL 파일의 변경을 감지하며, 이를 통해 단일 밀리초(millisecond) 이내의 빠른 응답 속도를 제공한다. 이러한 아키텍처는 SQLite의 장점(Embedded, Local, Durable)을 활용하면서, 기존의 폴링 방식의 단점을 극복한다.
SQLite 확장 기능과 언어 바인딩
Honker는 SQLite 확장 기능으로 구현되어, 다양한 언어 바인딩을 지원한다. Rust, Python, Node.js, Go, Ruby, Bun, Elixir, C++ 등에서 사용할 수 있으며, 모든 바인딩은 SQLite 확장 기능을 얇게 래핑(Wrapping)한다. 이러한 구조는 SQLite 클라이언트(Client)가 동일한 테이블을 읽을 수 있도록 하여, 다양한 환경에서 Honker를 활용할 수 있게 한다.
