200파운드로 LLM 추론 성능 2배 향상!

본문에서는 Tesla V100 SXM2 16GB 모델을 약 £150에 구매하여 RTX 4080 대비 22% 높은 메모리 대역폭(900 GB/s)을 확보했음을 강조합니다. 이는 최신 맥북의 M5 Max(614 GB/s)보다 월등히 높은 수치이며, LLM 추론 속도에 결정적인 영향을 미치는 메모리 병목 현상(Memory Bottleneck)을 효과적으로 해결할 수 있음을 시사합니다. 특히, RX 7900 XTX(960 GB/s)와 비교해도 가격 대비 성능이 뛰어나다는 평가입니다.

일반적인 PCIe 슬롯이 없는 SXM2 폼팩터의 V100 GPU를 사용하기 위해 비공식 PCIe 어댑터(£50)를 사용했습니다. 이 과정에서 서버용으로 설계된 82dB의 고소음 팬을 마더보드 팬 헤더에 연결하여 PWM 제어를 가능하게 함으로써 소음을 획기적으로 줄였습니다. 이는 데이터 격리 아키텍처(Data Isolation Architecture)를 구축하는 과정에서 발생할 수 있는 하드웨어 호환성 및 소음 문제를 해결하는 실질적인 방안을 제시합니다.

NixOS 환경에서 Volta 아키텍처(V100)와 Ada 아키텍처(RTX 4080)를 동시에 지원하기 위해 레거시 드라이버(legacy_535)와 특정 커널 버전(6.6)을 사용해야 했습니다. 또한, CUDA 12.2를 별도로 로드하고 X Server 활성화라는 특이사항까지 해결해야 했습니다. 이는 하드웨어 호환성(Hardware Compatibility) 및 소프트웨어 종속성 관리(Dependency Management)의 어려움을 보여주며, NixOS의 선언적 설정 방식이 이러한 복잡성을 해결하는 데 도움을 주었음을 시사합니다.

본문에서는 Qwen3.6-27B 모델을 Q5_K_M 양자화(Quantization)하여 19GB VRAM에 로드하고, 텐서 분할(Tensor Splitting)을 통해 32 tok/s의 추론 속도를 달성했다고 밝힙니다. 이는 최신 클라우드 모델과 경쟁할 수 있는 수준이며, 특히 Multi-Token Prediction (MTP) 아키텍처를 통해 정확도 손실 없이 1.5-2배 빠른 생성 속도를 기대할 수 있음을 설명합니다. 다만, MTP 지원은 llama.cpp 최신 버전에서만 가능하여 소스 코드 빌드가 필요했습니다.

Qwen3.6 모델은 멀티모달 프로젝터(mmproj)를 통해 이미지 입력 기능을 지원하며, 이는 1GB의 추가 용량만으로 구현 가능합니다. --mmproj-offload 플래그를 사용하여 비전 인코더를 GPU에 로드하면 빠른 추론이 가능합니다. 이 모든 과정이 데이터 미저장 정책(Zero-Retention Policy)을 준수하며 로컬 환경에서 이루어지므로, 네트워크 지연 시간(Network Latency) 없이 개인 정보 보호(Privacy)를 강화하고 토큰당 비용(Per-Token Cost)을 절감하는 장점이 있습니다.

커뮤니티 논의에서는 Dell OEM RTX 3090(1200$ CAD)과 같은 중고 서버 GPU 구매 사례가 언급됩니다. 이는 48-64GB VRAM을 요구하는 최신 LLM 모델 구동에 대한 필요성을 보여줍니다. 다만, 본문에서는 Tesla P40(24GB)이나 V100 32GB 모델 등 더 저렴한 대안도 제시하며, ACPI 열거 문제와 같은 하드웨어 불안정성 가능성에 대한 주의를 당부합니다. 이는 가성비와 안정성 사이의 트레이드오프를 고려해야 함을 시사합니다.