낡은 서버로 최신 AI를 돌리는 비법

LLM 추론에서 메모리 대역폭(Memory Bandwidth)이 핵심 병목임을 강조하며, CPU 캐시(L1, L2, L3) 활용 극대화를 위한 `--run-time-repack` 및 `--mlock` 플래그의 중요성을 설명합니다. 특히 DDR3 환경에서 `--mlock`은 OS의 스와핑(Swapping)으로 인한 성능 저하를 방지하는 필수 요소로 언급됩니다. 이는 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 모델 가중치를 CPU 캐시에 최대한 유지하려는 시도입니다.

본문은 Speculative Decoding 기법이 CPU 환경에서 메모리 벽(Memory Wall)을 우회하는 핵심 전략임을 설명합니다. Gemma 4 26B 모델과 소형 MTP(Mixture-of-T-Partitions) Drafter를 결합하고, `--spec-autotune`으로 동적 체인 길이를 조절하여 효율성을 높입니다. CPU의 저렴한 연산 비용과 Drafter의 작은 활성 집합(Active Set)이 L3 캐시에 적합하다는 점을 활용합니다.

Mixture-of-Experts(MoE) 모델에서 `--cpu-moe`와 `--merge-up-gate-experts` 플래그는 CPU 캐시 계층 구조에 맞춰 전문가(Expert) 라우팅을 최적화합니다. 이는 캐시 스래싱(Cache Thrashing)을 최소화하고, 여러 전문가 간의 데이터 이동을 줄여 메모리 대역폭 병목을 완화하는 데 기여합니다. `fused_up_gate` 플래그는 두 개의 투영(Projection) 연산을 단일 행렬 곱셈으로 통합하여 메모리 접근 횟수를 줄입니다.

GPU 전유물로 여겨졌던 Flash Attention을 ik_llama.cpp의 커스텀 CPU 커널을 통해 구현한 점이 주목받습니다. 이는 거대한 어텐션 행렬(Attention Matrix)을 메인 메모리에 쓰지 않고, 계산된 결과를 CPU 캐시 내에서 직접 소비함으로써 메모리 사용량과 I/O를 획기적으로 절감합니다. `--flash-attn on` 플래그와 Multi-Head Latent Attention (`--mla-use 3`)의 결합은 LLM의 컨텍스트 처리 능력을 향상시킵니다.

댓글에서는 오래된 하드웨어 활용에 대한 긍정적 반응과 함께 전기 요금 등 운영 비용 측면에서의 비효율성을 지적합니다. 일부 사용자는 10년 된 Xeon 시스템이나 15년 된 Phenom CPU에서도 특정 조건 하에 LLM 구동이 가능함을 공유하며, `llama.cpp`와 같은 도구의 중요성을 강조합니다. 또한, `ik_llama-cpp` 포크와 같은 특수화된 도구 없이는 성능 확보가 어렵다는 점이 공통적으로 언급됩니다.

본문은 `--sm graph` 플래그를 통한 그래프 분할(Graph Split)이 이론적으로는 텐서 병렬 처리(Tensor Parallelism)를 극대화하여 동시 연산을 가능하게 함을 설명합니다. 그러나 Gemma 4 MTP 아키텍처에서는 지원되지 않아 레이어 분할(Layer Split)로 대체되는 한계를 보입니다. 이는 최신 LLM 아키텍처와 추론 엔진 간의 호환성 및 최적화 지원 현황을 보여주는 사례입니다.