낡은 서버에서 최신 AI 모델을 돌리는 기술

본문에서는 13년 된 Xeon E5-2690 v2 (Ivy Bridge) CPU가 AVX2 및 FMA3 명령어셋을 지원하지 않아 최신 언어 모델 추론에 사용되는 최적화된 커널(Kernel)을 실행할 수 없었던 문제를 지적합니다. 해당 커널은 Haswell(v3) 세대 이후 CPU를 대상으로 개발되었기에, 구형 하드웨어에서는 실행 경로(Execution Path)의 부재로 인해 오류가 발생했습니다. 이는 특정 하드웨어 아키텍처에 대한 깊은 이해 없이는 해결하기 어려운 문제임을 시사합니다.

저자는 Claude AI를 활용하여 AVX2/FMA3 명령어셋 없이도 작동하는 커널 폴백(Kernel Fallback) 로직을 개발했습니다. 이는 단순히 '수정하라'는 지시가 아니라, 성능에 민감한 C++ 코드를 분석하고 특정 마이크로아키텍처에서 유효하지 않은 커널을 우회하며 기존 최적화를 유지하는 복잡한 과정을 포함합니다. 결과적으로 데이터 미저장 정책(Zero-Retention Policy)을 준수하면서도 구형 하드웨어에서 모델을 구동할 수 있게 되었습니다.

커뮤니티에서는 초당 5.2 토큰(Tokens/sec)의 디코딩 속도와 16 토큰/초의 프롬프트 평가 속도에 대한 논의가 있었습니다. 일부 사용자는 이 속도가 실제 사용에 너무 느리다고 지적하며, 특히 프롬프트 처리 시간(Prompt Processing Time)이 병목 현상을 일으킨다고 분석했습니다. 반면, 다른 사용자들은 전기 요금(Electricity Cost)을 고려할 때 클라우드 기반 추론 서비스보다 비용 효율적이지 않다고 주장하며, 데이터 프라이버시(Data Privacy)를 위한 로컬 추론의 가치에 주목했습니다.

본 사례는 구독 기반 AI 서비스가 아닌, 오래된 하드웨어와 최신 모델을 결합하는 엔지니어링 기술의 중요성을 강조합니다. 저자는 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 민감한 데이터를 외부로 전송하지 않고도 AI를 활용할 수 있다는 점을 부각합니다. 커뮤니티에서는 2027년까지 200B MoE 모델이 일반 소비자 하드웨어에서 구동될 것이라는 예측도 나왔으며, 이는 로컬 추론의 가능성과 효율성이 지속적으로 향상될 것임을 시사합니다.

이식성을 위해 GGML_USE_IQK_MULMAT 플래그를 비활성화하고, AVX1 기반의 스칼라 루프(Scalar Loop) 및 SSE 연산으로 대체하는 수정이 이루어졌습니다. 특히 MOE_FUSED_UP_GATE 및 FUSED_UP_GATE 연산에서 발생하는 문제를 해결하기 위해, 해당 연산들을 ggml_mul_mat_id와 ggml_fused_mul_unary로 분리하여 처리했습니다. `--run-time-repack` 플래그는 AVX2 전용 레이아웃으로 인한 문제를 야기하므로 제외되었습니다. 이 설정으로 Q8_0 양자화된 Gemma 4 26B-A4B 모델을 구동했습니다.