LLM, 이제 직접 만들어보세요! (초보자용)
by DD
2개월 전
조회수 20
GPT 모델 구축 워크숍 소개: MacBook에서 셰익스피어 스타일의 텍스트를 생성하는 LLM을 처음부터 구축
핵심 구성 요소: 토크나이저, 모델 아키텍처(Transformer), 학습 루프, 텍스트 생성, 실험 등
커뮤니티 반응: 관련 학습 자료 추천, 기존 연구와의 비교, 실제 경험 공유 등 다양한 의견 제시
학습 난이도: 파이썬(Python) 코드에 대한 기본적인 이해만 있으면 참여 가능
nanoGPT 기반 워크숍의 특징
본 워크숍은 Andrej Karpathy의 nanoGPT를 기반으로 하여, GPT-2 모델을 축소하여 1000만 개의 파라미터를 가진 모델을 1시간 이내에 학습할 수 있도록 설계되었다. 특히, 토크나이저(Tokenizer), 트랜스포머(Transformer), 학습 루프(Training Loop) 등 LLM 구축의 핵심 요소들을 직접 코딩하며 이해할 수 있도록 구성되었다. 이는 LLM의 작동 원리에 대한 깊이 있는 이해를 돕는 데 중점을 둔다.
토크나이징(Tokenization) 방식 비교
워크숍에서는 셰익스피어 데이터를 활용하여 문자 단위 토크나이징(Character-level Tokenization)을 사용한다. 이는 소규모 데이터셋에서 BPE(Byte Pair Encoding) 토크나이징 방식의 한계를 극복하기 위함이다. BPE 토크나이징은 5만 개 이상의 어휘를 사용하지만, 소규모 데이터셋에서는 패턴 학습에 어려움이 있다. 따라서, 워크숍에서는 문자 단위 토크나이징을 통해 모델 학습의 효율성을 높인다.
