LLM, 레이어 복제로 추론 능력 2배 향상?
by DD
4개월 전
조회수 18
LLM(Large Language Model)의 특정 레이어를 복제하여 모델의 추론 능력을 향상시키는 새로운 기술이 제시됨
Devstral-24B 모델에서 논리적 추론 능력이 245% 향상되는 등 긍정적 결과가 나타남
레이어 복제 패턴에 따라 수학, 감성 추론 등 모델의 특성이 변화하는 현상 발견
커뮤니티에서는 벤치마크의 신뢰성 및 실제 성능 향상에 대한 의문 제기
기술의 실용성 및 다른 모델로의 확장 가능성에 대한 논의가 진행됨
트랜스포머(Transformer) 내부의 '추론 회로(Reasoning Circuits)'
본 연구는 트랜스포머(Transformer) 모델 내부에 '추론 회로(Reasoning Circuits)'가 존재한다는 가설을 제시한다. 구체적으로, 모델의 특정 레이어 블록을 복제하면 해당 회로를 두 번 통과하게 되어 추론 능력이 향상된다는 것이다. Devstral-24B 모델에서 레이어 12-14를 복제한 결과, 논리적 추론 점수가 0.22에서 0.76으로 크게 상승했다. 이는 모델의 내부 구조(Internal Structure)에 대한 새로운 통찰을 제공한다.
레이어 복제 패턴에 따른 모델의 '모드(Mode)' 변화
흥미로운 점은 레이어 복제 패턴에 따라 모델의 인지적 특성이 달라진다는 것이다. 예를 들어, 레이어를 두 번 복제하면 수학적 능력이 향상되고, 세 번 복제하면 감성 추론 능력이 높아진다. 이러한 현상은 동일한 가중치를 가진 모델에서도 나타나며, 의 증가는 미미하다. 이는 모델의 를 활용하는 새로운 접근 방식을 제시한다.
