AI 글쓰기 능력 저하의 진짜 원인은 무엇일까요?
AI 글쓰기 능력 저하의 원인으로 추론 시간 최적화(Inference-time Optimization)가 지목되었으나, 이는 손실 없는 설계(Lossless Design)로 품질 저하와 무관함
실제 원인은 인간 피드백 기반 강화학습(RLHF) 과정에서 발생하는 모드 붕괴(Mode Collapse) 현상으로, 모델의 출력 다양성(Output Diversity) 감소를 초래함
AI 글쓰기 문제는 비논픽션(Nonfiction)과 픽션(Fiction)으로 나뉘며, 비논픽션은 상충하는 최적화 목표(Conflicting Optimization Objectives) 해결이 관건임
픽션 분야는 구조 및 캐릭터 재구성(Structure and Character Rework)에 대한 학습 데이터 부족과 경제적 인센티브 부재(Lack of Economic Incentive)로 해결이 어려움
저자는 개인화된 편집 과정(Personalized Editing Process)을 통해 AI의 안전하고 평균적인 글쓰기 경향을 극복하고 있음을 강조함
추론 시간 최적화의 오해: 손실 없는 설계
AI 글쓰기 품질 저하의 원인으로 지목된 추론 시간 최적화(Inference-time Optimization)는 실제로는 손실 없는 설계(Lossless Design)를 기반으로 함.
추론 과정: 소형 '초안' 모델이 여러 토큰을 예측하고, 대형 모델이 이를 병렬 검증하여 일치하는 결과만 채택하는 방식.
수학적 동일성: 이 과정은 대형 모델이 단독으로 생성했을 때와 수학적으로 동일한 출력 분포(Output Distribution)를 보장하며, 품질 저하를 유발하지 않음.
성능 차이: 창의적인 글쓰기(Creative Writing)는 예측 불가능성이 높아 추측 수락률(Guess Acceptance Rate)이 낮아 속도 향상 효과가 상대적으로 적을 뿐, 품질 자체에 영향을 주지 않음.
양자화(Quantization)와의 구분: 모델 정밀도를 낮춰 메모리를 절약하는 양자화는 품질 저하를 일으킬 수 있으나, 이는 추론 최적화와는 별개의 문제임.
모드 붕괴(Mode Collapse): RLHF의 숨겨진 부작용
AI 모델의 글쓰기 품질 저하의 핵심 원인은 인간 피드백 기반 강화학습(RLHF) 과정에서 발생하는 모드 붕괴(Mode Collapse) 현상임.
RLHF의 목표: 인간 평가자가 선호하는 응답을 보상하여 모델을 미세 조정하는 것.
평가자의 편향: 평가자들은 쉽게 훑어볼 수 있고(Pleasant to Skim) 반박하기 어려운(Hard to Disagree With) 응답을 선호하는 경향이 있음.
결과: 모델은 단순히 나쁜 답변을 피하는 것을 넘어, 안전하고 평균적인 응답(Safe Register)으로 수렴하여 원래 가능했던 더 넓은 범위의 응답 다양성(Wider Range of Responses)을 잃게 됨.
측정 결과: Kirk 등의 연구에서 RLHF 학습 모델은 학습 전 모델 대비 모든 측정 지표에서 유의미하게 낮은 출력 다양성을 보였음.
비논픽션(Nonfiction) 글쓰기의 상충하는 최적화 목표
AI의 비논픽션 글쓰기 능력 한계는 상충하는 최적화 목표(Conflicting Optimization Objectives)에서 비롯됨.
상반된 요구사항: 일반적인 챗봇 응답(따뜻하고, 완곡한 표현)과 기술 문서(정확하고, 직설적인 표현)는 서로 다른 특성을 요구함.
중간값으로의 수렴: 단일 보상 신호가 이 두 가지 상반된 요구를 모두 충족시키려 할 때, 모델은 양쪽 모두를 만족시키지 못하는 중간값(Middle Ground)으로 끌려가게 됨.
해결 가능성: 이는 API 엔드포인트 분리와 같이, 서로 다른 호출자를 지원하는 문제를 해결하는 것과 유사한 엔지니어링 문제로, 부분적인 수정이 이미 시도되고 있음 (예: OpenAI의 GPT-4o 업데이트).
저자의 역할: 저자는 이러한 문제점을 인지하고 개인화된 편집 과정을 통해 해결해나가고 있음.
픽션(Fiction) 글쓰기의 데이터 및 비즈니스 모델 부재
AI의 픽션 글쓰기 능력 한계는 학습 데이터의 부재와 경제적 인센티브 부족에 기인함.
구조적 복잡성: 소설은 수년간의 구조 및 캐릭터 재구성 과정을 거치지만, 이러한 실패한 초안(Failed Drafts)은 학습 데이터로 활용되지 않음.
측정의 어려움: '감동을 주는 소설'과 같은 정성적 목표(Qualitative Goal)는 코드 테스트와 같이 정량적으로 측정하기 어려움.
경제적 동기 부족: 현재로서는 장편 소설 창작의 복잡성을 해결하려는 명확한 비즈니스 모델(Business Model)이 부재함.
기존 모델의 한계: 사전 훈련만으로도 강력한 장문 생성이 가능해졌으나, RLHF와 같은 사후 최적화 과정이 오히려 기존 능력을 저하시킬 가능성이 제기됨.
개인화된 편집을 통한 AI 글쓰기 한계 극복
저자는 AI의 평균적이고 안전한 글쓰기 경향을 극복하기 위해 개인화된 편집 과정(Personalized Editing Process)을 활용함.
36가지 패턴 체크리스트: 자신의 출판물을 기반으로 AI 글쓰기 특유의 경향(AI Writing Tells)을 잡아내도록 보정된 도구.
평균값 회피: 이 체크리스트는 '좋은 글쓰기'라는 평균적인 기준을 피하고 저자 자신의 고유한 스타일을 유지하는 데 중점을 둠.
RLHF 흔적 제거: 초안 작성 후 다시 침투하는 RLHF의 완곡어법(RLHF Hedge-language), 모호한 주장 등을 식별하고 수정함.
결론: AI 글쓰기 문제는 해결된 것이 아니라, 비논픽션 분야는 엔지니어링적 접근으로, 픽션 분야는 데이터 및 비즈니스 모델 구축으로 나아가야 함을 시사함.
