1930년대 지식으로 훈련된 AI, Talkie의 등장!

Talkie는 1930년 이전의 텍스트로만 학습된 빈티지 언어 모델(Vintage Language Model)로, 과거 시대의 지식과 가치관을 반영한다. 하지만, 훈련 데이터의 데이터 누수(Data Leakage)로 인해 모델이 의도치 않게 현대 지식을 습득하는 문제가 발생했다. 특히, 루즈벨트 대통령과 뉴딜 정책에 대한 지식을 포함하는 것은 이러한 문제의 대표적인 사례이다. 이러한 한계를 극복하기 위해, 저자들은 데이터 필터링(Data Filtering) 기술을 개선하고 있다.

Talkie의 성능은 훈련 데이터의 품질에 크게 의존하며, 특히 OCR(Optical Character Recognition) 기술의 정확도가 중요하다. 기존 OCR 시스템은 1930년대 텍스트의 복잡한 레이아웃과 불완전한 스캔으로 인해 어려움을 겪는다. 연구 결과에 따르면, 기존 OCR 시스템으로 훈련된 모델은 사람의 손으로 직접 작성된 텍스트로 훈련된 모델보다 성능이 30% 낮았다. 이러한 문제를 해결하기 위해, 저자들은 빈티지 OCR 시스템을 개발하여 데이터 품질을 향상시키려 노력하고 있다.

Talkie는 미래 예측 능력과 코딩 능력을 평가하기 위한 실험을 진행했다. 특히, 1930년대 지식만으로 훈련된 모델이 미래 사건을 얼마나 정확하게 예측할 수 있는지, 그리고 현대 프로그래밍 언어로 코딩할 수 있는지를 테스트했다. 비록 현대 모델에 비해 성능은 낮지만, Talkie는 간단한 Python 코드(Python Code)를 생성하는 데 성공했다. 이러한 실험은 언어 모델(Language Model)의 일반화 능력을 이해하는 데 기여할 수 있다.

Talkie는 1930년대 텍스트를 기반으로 학습되었기 때문에, 당시 사회의 가치관과 편견을 반영할 수 있다. 댓글에서는 모델이 식민주의(Colonialism)와 같은 과거 시대의 편견을 드러낼 수 있다는 점을 지적하며, 이러한 편향이 LLM 훈련에 미치는 영향에 대한 우려를 표명했다. 따라서, 빈티지 언어 모델 개발 시 윤리적 고려(Ethical Consideration)와 데이터 다양성(Data Diversity) 확보가 중요하다는 점을 강조한다.