1930년대 지식으로 훈련된 AI, Talkie의 등장!
by DD
2개월 전
조회수 18
1930년 이전 텍스트로 학습된 13B 규모의 언어 모델 Talkie가 공개됨
과거 시대의 지식과 가치관을 반영하며, 미래 예측 및 코딩 능력 실험 진행
데이터 품질 문제와 지식 누수(Data Leakage)로 인한 정확성 저하 문제 제기
모델의 미래 예측 능력에 대한 기대와 함께, 과거 시대의 편견(Bias)에 대한 우려도 제기됨
빈티지 언어 모델(Vintage Language Model)의 개념과 한계
Talkie는 1930년 이전의 텍스트로만 학습된 빈티지 언어 모델(Vintage Language Model)로, 과거 시대의 지식과 가치관을 반영한다. 하지만, 훈련 데이터의 데이터 누수(Data Leakage)로 인해 모델이 의도치 않게 현대 지식을 습득하는 문제가 발생했다. 특히, 루즈벨트 대통령과 뉴딜 정책에 대한 지식을 포함하는 것은 이러한 문제의 대표적인 사례이다. 이러한 한계를 극복하기 위해, 저자들은 데이터 필터링(Data Filtering) 기술을 개선하고 있다.
데이터 품질(Data Quality) 문제와 OCR 기술의 중요성
Talkie의 성능은 훈련 데이터의 품질에 크게 의존하며, 특히 OCR(Optical Character Recognition) 기술의 정확도가 중요하다. 기존 OCR 시스템은 1930년대 텍스트의 복잡한 레이아웃과 불완전한 스캔으로 인해 어려움을 겪는다. 연구 결과에 따르면, 기존 OCR 시스템으로 훈련된 모델은 사람의 손으로 직접 작성된 텍스트로 훈련된 모델보다 성능이 30% 낮았다. 이러한 문제를 해결하기 위해, 저자들은 을 개발하여 데이터 품질을 향상시키려 노력하고 있다.
