네이버, LLM 개발 현황과 AI 리서치 엔지니어의 비전 공개

네이버는 자체 LLM 모델인 하이퍼클로바X를 개발, 한국어 성능 벤치마크에서 좋은 평가를 받음

오디오 LLM 개발을 통해 텍스트를 넘어 다양한 모달리티를 확장하고 있음

소버린 AI 구축을 목표로, RL 컴퓨트 스케일링 및 테스트 타임 컴퓨트 스케일링을 통한 성능 향상 추구

하이퍼클로바X의 기술적 기반

하이퍼클로바X는 가상 데이터 생성을 극대화하여 모델 성능을 향상시켰다. 구체적으로 RFT(Rejection Fine-Tuning) 기법을 활용하여 모델 학습 데이터의 품질을 높였다. 따라서 GPU 자원 활용이 핵심이며, 스케일러블한 기술 개발을 통해 성능을 지속적으로 개선하고 있다.

오디오 LLM 개발의 도전 과제

오디오 LLM 개발의 주요 과제는 텍스트 LLM 지식의 전이 과정에서 발생하는 지식 퇴화를 해결하는 것이다. 오픈AI는 방대한 자원으로 이 문제를 해결하지만, 네이버는 한정된 자원 내에서 성능 최적화를 추구한다. 결과적으로 데이터 얼라인먼트 기술을 통해 텍스트 지식을 오디오에 활용하는 연구를 진행한다.

AI 리서치 엔지니어의 핵심 역량

AI 리서치 엔지니어에게는 머신러닝, 딥러닝에 대한 탄탄한 기본기와 수학적 백그라운드가 요구된다. RL 컴퓨트 스케일링과 테스트 타임 컴퓨트 스케일링과 같은 최신 기술에 대한 이해도 중요하다. 따라서 문제 해결 능력과 긍정적인 태도를 바탕으로 끊임없이 학습하고 발전해야 한다.