노르웨이, 자국어 LLM 개발에 2PB 스토리지 투입
by DD
1개월 전
조회수 10
노르웨이 국립 도서관, 자국어 이해 LLM 개발 위해 Huawei OceanStor Dorado 플래시 스토리지 2PB 활용
데이터 품질, 정제 및 파이프라인 처리량이 병목 지점이며, 60PB 규모의 보존 시스템과 AI 파이프라인 간의 데이터 이동 문제 발생
커뮤니티에서는 자국어 LLM의 필요성에 대한 의문과 과도한 자원 투입에 대한 비판 제기
주권 AI(Sovereign AI) 개념에 대한 논의와 함께, 상업적 LLM의 한계 지적
데이터 파이프라인 병목 현상
노르웨이 국립 도서관은 2PB 규모의 Huawei OceanStor Dorado 플래시 스토리지를 활용하여 자국어 LLM을 훈련시키고 있다. 하지만, Marius Husnes는 데이터 품질, 정제, 파이프라인 처리량이 병목 지점이라고 언급했다. 특히, 60PB 규모의 데이터 보존 시스템(Preservation System)에서 AI 파이프라인으로의 데이터 이동 과정에서 고속 IO(High-Throughput IO) 문제를 해결해야 한다고 강조했다. 이는 데이터 격리 아키텍처(Data Isolation Architecture) 간의 성능 차이에서 기인한다.
자국어 LLM의 필요성 논쟁
Husnes는 영어 기반 LLM이 노르웨이의 역사, 뉴스, 문화를 제대로 이해하지 못한다는 점을 지적하며, 자국어 LLM의 필요성을 강조했다. 하지만, 댓글에서는 이 이미 다양한 언어로 훈련되고 있다는 반론이 제기되었다. 에 대한 개념과 함께, 의 한계와 의 중요성에 대한 논의가 이루어졌다.
