mimalloc, 멀티스레드 환경에서 메모리 할당 성능을 혁신하다!
by DD
2개월 전
조회수 10
mimalloc은 고성능, 확장성(Scalability)을 목표로 설계된 오픈소스 메모리 할당기로, 기존 malloc/free를 대체 가능함
스레드 로컬 힙(Thread-Local Heap)과 원자적 연산(Atomic Operations)을 활용하여 동시성(Concurrency) 문제를 해결하고 성능을 향상시킴
마이크로소프트(Microsoft)의 Bing, Unreal Engine 등 대규모 서비스에서 실제 성능 개선 사례(Performance Improvement)가 확인됨
mimalloc은 NoGIL CPython 3.13+의 할당기로 사용되며, Rust wrapper는 일일 10만 건 이상의 다운로드를 기록함
mimalloc의 핵심 아키텍처: 스레드 로컬 힙(Thread-Local Heap)
mimalloc은 각 스레드에 독립적인 힙(Heap)을 할당하는 방식으로 동시성 문제를 해결한다. 각 스레드는 자신만의 스레드 로컬 힙(Thread-Local Heap)을 가지며, 이 힙은 64KiB 크기의 페이지(Page)로 구성된다. 이러한 구조는 스레드 간의 경쟁(Contention)을 최소화하여 메모리 할당 및 해제 속도를 향상시킨다. 특히, 작은 크기의 메모리 할당 시에는 원자적 연산 없이 빠르게 처리할 수 있다.
원자적 연산(Atomic Operations)을 활용한 동기화
mimalloc은 스레드 간 메모리 해제 시 원자적 비교-교환(Compare-and-Swap) 연산을 사용하여 동기화를 수행한다. 이는 각 페이지에 있는 에 블록을 안전하게 추가하기 위한 방법이다. 최신 하드웨어에서는 이러한 연산이 캐시 일관성 프로토콜(Cache Coherence Protocol)과 통합되어 효율적으로 처리된다. mimalloc은 이러한 기술을 통해 을 확보하면서도, 를 유지한다.
