LLM, 의식의 아키텍처를 엿보다

본 논문은 언어 모델 내에서 '글로벌 워크스페이스(Global Workspace)'와 유사한 구조가 존재할 수 있음을 시사합니다. 이는 특정 정보나 추론이 모델의 여러 부분에 걸쳐 공유되고 통합되는 방식을 설명하려는 시도입니다. 커뮤니티에서는 이를 의식(Consciousness)의 신경과학적 모델과 연결하며, AI가 어떻게 복잡한 정보를 처리하고 '이해'하는지에 대한 근본적인 질문을 던집니다.

논의의 핵심인 J-Space는 특정 레이어가 정보의 변화에 얼마나 민감한지를 측정하는 지표로, 정보 기하학(Information Geometry)의 개념을 활용합니다. 이를 통해 모델이 특정 작업(예: 수학 문제 해결)에 특화된 추상적 추론 능력(Abstract Reasoning Capability)을 가진 모듈을 학습하고, 이러한 모듈이 다른 맥락에서도 재활용될 수 있음을 보여줍니다. 이는 모듈식 AI 설계(Modular AI Design)의 가능성을 열어줍니다.

댓글에서는 LLM이 인터넷 검색 없이 특정 질문(예: '2000년대 미시간 출신 넥타이 밴드')에 답하는 데 어려움을 겪지만, 명확한 질문('Who are Tally Hall')에는 쉽게 답하는 현상을 지적합니다. 이는 모델이 직접적인 지식 검색(Direct Knowledge Retrieval)과 맥락적 추론(Contextual Inference) 사이에서 다른 행동 패턴을 보일 수 있음을 시사하며, 데이터 미저장 정책(Zero-Retention Policy) 하에서의 모델 동작 방식에 대한 흥미로운 관찰입니다.

과거 연구에서 수학 문제 해결 능력을 향상시키기 위해, 해당 작업이 활성화될 때 사용되는 레이어를 단순히 복제하여 모델에 추가하는 실험이 있었습니다. 이처럼 모델의 특정 가중치(Weights)가 어떤 기능을 수행하는지 탐구하고, 이를 효율적으로 재활용하는 연구가 LLM의 능력 확장에 중요한 역할을 할 것으로 보입니다. 이는 신경망 아키텍처 탐색(Neural Network Architecture Exploration)의 한 형태로 볼 수 있습니다.