1989년 매킨토시(Macintosh)에서 구현된 1,216개 파라미터의 트랜스포머 신경망
1989년 매킨토시(Macintosh)와 하이퍼카드(HyperCard)를 활용하여 트랜스포머 신경망(Transformer Neural Network)을 구현
1,216개의 파라미터(Parameters)를 가진 모델로, FFT(Fast Fourier Transform)의 비트-리버설 순열 학습
백프로퍼게이션(Backpropagation)과 어텐션 메커니즘(Attention Mechanism)을 통해 패턴을 학습하는 과정을 시각화
현대 AI 기술이 하드웨어 제약 속에서도 구현될 수 있음을 보여주는 사례로, 커뮤니티의 긍정적 반응을 얻음
하이퍼카드(HyperCard) 환경에서의 트랜스포머 구현
MacMind는 1987년 애플에서 출시한 하이퍼카드(HyperCard)의 스크립트 언어인 하이퍼토크(HyperTalk)로 구현되었다. 토큰 임베딩(Token Embeddings), 위치 인코딩(Positional Encoding), 셀프 어텐션(Self-Attention), 역전파(Backpropagation), 그리고 확률적 경사 하강법(Stochastic Gradient Descent)을 포함한 모든 구성 요소가 하이퍼토크 내에서 작동한다. 이는 당시의 제한된 하드웨어 환경에서도 AI 모델을 구현할 수 있음을 보여주는 사례이다.
FFT(Fast Fourier Transform) 비트-리버설 순열 학습
MacMind는 FFT(Fast Fourier Transform)의 핵심 단계인 비트-리버설 순열을 학습하도록 설계되었다. 모델은 8x8 어텐션 가중치 행렬(Attention Weight Matrix)을 통해 입력 위치 간의 관계를 파악하고, 이를 통해 FFT의 버터플라이 패턴을 발견한다. 이는 모델이 데이터로부터 패턴을 학습(Pattern Learning)하는 과정을 시각적으로 보여주며, 현대 AI의 핵심 원리를 이해하는 데 도움을 준다.
성능 및 하드웨어 제약
MacMind는 1989년 매킨토시 SE/30에서 훈련되었으며, 각 훈련 단계는 수 초가 소요되고 전체 훈련에는 수 시간이 걸렸다. 하이퍼토크(HyperTalk)의 인터프리터 방식이 병목 현상을 발생시키지만, 현대적인 에뮬레이터(Basilisk II, SheepShaver)에서도 유사한 성능을 보인다. 이는 하드웨어 성능보다는 알고리즘의 효율성(Algorithm Efficiency)이 AI 모델의 성공에 중요하다는 것을 시사한다.
커뮤니티 반응 및 인사이트
커뮤니티에서는 오래된 하드웨어(Old Hardware)에서 현대적인 AI 아이디어를 구현한 것에 대한 깊은 인상을 표했다. 특히, GPU(Graphics Processing Unit)와 같은 고성능 하드웨어에 의존하기보다는, 알고리즘(Algorithm)과 수학적 원리(Mathematical Principles)를 통해 제한된 자원 내에서 성과를 달성하는 방식에 주목했다. 이는 AI 기술 발전의 본질을 보여주는 사례로 평가받는다.
