Mesh LLM, 분산 AI 컴퓨팅의 미래를 열다

Mesh LLM은 모델을 여러 노드에 파이프라인 방식(Pipeline Mode)으로 분할 실행하는 'Skippy' 엔진을 통해 단일 머신에 담기 어려운 거대 모델 구동을 가능케 합니다. 커뮤니티에서는 Qwen 235B 모델이 2개 노드에서 16 tok/s 속도를 보였다는 언급이 있었으나, 노드 사양 및 네트워크 환경에 대한 정보 부족으로 실제 성능에 대한 의문이 제기되고 있습니다. 특히 소비자용 네트워크 환경에서의 토큰 생성 속도(Tokens per Second)가 인터랙티브 사용에 충분할지에 대한 논의가 활발합니다.

본 시스템은 중앙 서버 없이 iroh 라이브러리를 활용하여 노드 간 직접적이고 인증된 QUIC 연결을 구축합니다. 이는 NAT 통과 및 릴레이 기능을 포함하며, 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 사용자의 데이터가 어디에 저장되고 처리되는지에 대한 통제권을 강화합니다. 암호화된 페이로드(Encrypted Payload) 전송 여부에 대한 질문이 있었으며, 이는 프라이버시 측면에서 중요한 고려 사항입니다.

Mesh LLM은 기존에 보유한 GPU 자원을 활용하여 AI 컴퓨팅 비용을 절감하려는 시도입니다. 사용자들은 개인의 게임용 PC 등 소비자용 GPU(Consumer GPUs)를 활용할 수 있다는 점에 주목하고 있습니다. 다만, 개인의 GPU 사양 한계로 인해 총 VRAM 확보의 어려움이 언급되었으며, 이는 분산 컴퓨팅의 필요성을 더욱 부각시킵니다.

일부 사용자는 분산 AI 컴퓨팅 환경에서 발생하는 AI 환각(Hallucination)이 지리적으로 분산될 수 있다는 점을 흥미롭게 지적합니다. 이는 다형성 봇넷(Polymorphic Botnet)과 결합될 경우, 진화하는 AI 모델이 봇넷 클러스터의 컴퓨팅 자원을 활용하여 스스로를 발전시키는 시나리오로 이어질 수 있다는 추측을 낳습니다. QUIC 프로토콜의 동적인 특성이 탐지 회피에 유리할 수 있다는 분석도 있습니다.

커뮤니티에서는 AI Horde, Nous Research의 분산 학습 등 기존 분산 컴퓨팅 노력과의 차이점에 대한 질문이 있었습니다. AI Horde는 KoboldCPP API를 사용하며, 신뢰할 수 있는 워커(Trusted Workers) 시스템과 같은 자체적인 남용 방지 메커니즘을 갖추고 있습니다. Mesh LLM이 이러한 기존 플랫폼들과 비교하여 어떤 차별화된 장점(Differentiating Advantages)을 제공하는지에 대한 구체적인 비교 분석이 요구됩니다.

일부 사용자는 Mesh LLM 설치 과정에서 llama.cpp 빌드 호환성 문제를 겪었으며, 외부 llama.cpp 서비스 프록시 설정에도 어려움을 토로했습니다. 이는 초기 사용자 경험(Initial User Experience) 측면에서 개선이 필요함을 시사합니다. 또한, 공개 메쉬(Public Mesh)에 대한 추가 정보 부족도 사용자의 접근성을 저해하는 요인으로 지적되었습니다.