LLM, 백엔드 개발자의 시선으로 파헤치다!
by DD
10개월 전
조회수 7
LLM이 사용자의 질문을 이해하고 답변을 생성하는 과정을 6단계로 상세히 설명
토큰화, 임베딩, 어텐션 등 LLM의 핵심 기술을 백엔드 개발자 관점에서 분석
Transformer & Attention 메커니즘을 통해 문맥을 파악하고 정확한 답변 생성
토큰화: LLM의 언어 이해 첫걸음
토큰화는 LLM이 텍스트를 이해하기 위한 첫 번째 단계로, 입력된 문장을 토큰 단위로 분리한다. 구체적으로, SentencePiece와 같은 토크나이저를 사용하여 언어 중립적인 토큰 분할을 수행한다. 따라서, 서브워드 기반 분할을 통해 새로운 단어나 복잡한 표현도 처리한다.
임베딩: 단어의 의미를 숫자로 표현
임베딩은 토큰화된 ID를 의미를 가진 벡터로 변환하는 과정이다. 구체적으로, 각 토큰은 Embedding Table에서 고유한 좌표를 할당받는다. 반면, PCA와 같은 차원 축소 기술을 통해 고차원 벡터를 시각화하여 단어 간의 의미적 관계를 파악한다.
