LLM 기초 지식 완벽 정리!
by DD
5개월 전
조회수 18
대규모 언어 모델(LLM)에 대한 기초 지식과 최신 기술을 체계적으로 설명하는 책.
전통적인 언어 모델부터 Prompt 엔지니어링, 파라미터 효율적인 미세 조정까지 다룸.
매달 업데이트를 통해 최신 기술 동향을 반영하고, 관련 논문 목록 제공.
LLM 아키텍처 및 기술 개요
책은 RNN, Transformer 등 다양한 언어 모델 아키텍처를 소개하고, 각 모델의 특징과 장단점을 비교 분석한다. 구체적으로 Encoder-only, Encoder-Decoder, Decoder-only 아키텍처를 설명하고, Prompt 엔지니어링과 같은 핵심 기술을 다룬다. 따라서 LLM의 전반적인 이해를 돕고, 기술 선택에 필요한 지식을 제공한다.
파라미터 효율적인 미세 조정 및 모델 편집
책은 파라미터 효율적인 미세 조정 기법과 모델 편집 기술을 상세히 설명한다. 구체적으로 LoRA, T-Patcher, ROME 등 다양한 방법을 소개하고, 각 방법의 장단점과 실제 적용 사례를 제시한다. 따라서 모델 훈련 및 수정에 대한 실질적인 가이드를 제공하고, 모델 성능 향상을 위한 전략을 제시한다.
검색 증강 생성(RAG) 및 실제 적용
책은 검색 증강 생성(RAG) 기술을 소개하고, 관련 아키텍처와 구현 방법을 설명한다. 구체적으로 지식 검색 및 생성 증강 과정을 다루고, 실제 적용 사례를 제시한다. 따라서 LLM의 지식 기반 강화를 위한 기술적 이해를 돕고, 모델의 정확성 및 신뢰도 향상에 기여한다.
