AI는 '생각'하는 것이 아니라 '검색'하는 것?

본문에서 설명하는 '북마크 브레인'은 검색 증강 생성(Retrieval-Augmented Generation, RAG) 아키텍처를 기반으로 작동함. 사용자의 질문(Query)이 들어오면, 먼저 개인화된 데이터셋(5만 개의 북마크)에서 가장 관련성 높은 정보를 검색(Retrieval)함. 이후 검색된 정보와 원본 질문을 결합하여 대규모 언어 모델(Large Language Model, LLM)이 답변을 생성(Generation)하도록 함. 이 과정에서 LLM 자체의 추론 능력보다는, 어떤 데이터를 검색하여 제공하는지가 결과물의 품질을 좌우함. 이는 AI의 '지능'이 실제로는 방대한 데이터셋 내에서의 '연관성'을 얼마나 잘 찾아내는가에 달려있음을 시사함.

저자는 생성형 AI가 보여주는 놀라운 결과물이 실제 '사고(Thinking)'나 '이해(Understanding)'가 아닌, 고도로 정교화된 자동 완성(Sophisticated Autocomplete)에 가깝다고 주장함. AI는 방대한 텍스트 데이터에서 학습한 통계적 패턴을 기반으로, 주어진 맥락에서 가장 확률적으로 적합한 다음 단어를 예측하며 문장을 완성해 나감. '북마크 브레인'이 마치 글쓴이의 말투와 의견을 정확히 반영하는 이유는, 모델 자체의 능력이 뛰어나서가 아니라 개인화된 데이터셋(Personalized Dataset)의 일관성 덕분임. 즉, AI의 '창의성'이나 '독창성'은 기존 데이터의 재조합 및 변형일 뿐, 진정한 의미의 새로운 통찰력을 생성하는 것은 아님을 강조함.

최근 논란이 된 '그래타(Granta)' 문학 잡지 사건을 통해 AI 탐지기의 신뢰성에 의문을 제기함. AI 탐지기는 인간의 글과 AI 생성 텍스트 간의 통계적 분포 차이(Statistical Distributional Differences)를 기반으로 작동하는데, 이는 특정 스타일(예: 학술적, 압축적 문체)을 가진 인간의 글을 오탐(False Positive)할 가능성이 높음. 탐지기는 글의 의미나 진위 여부를 '이해'하는 것이 아니라, 단순히 패턴 매칭(Pattern Matching)을 수행할 뿐임. 따라서 AI 모델의 발전, 글쓰기 스타일의 변화에 따라 탐지 정확도는 계속 변동하며, 이를 맹신하는 것은 신호(Signal)를 실제 측정 대상(Thing Measured)과 혼동하는 오류라고 지적함.

저자는 자신의 AI 챗봇 경험을 통해 역으로 인간의 '독창적 사고' 과정에 대해서도 성찰함. 많은 경우, 인간의 창의적 발상 역시 과거의 경험, 학습, 영향력 등 내부 데이터셋에서 관련 정보를 검색(Retrieval)하고 조합하는 과정과 구조적으로 유사할 수 있다는 점을 시사함. '북마크 브레인'이 개인의 세계관을 반영하듯, 인간의 사고 역시 개인의 경험과 큐레이션(Curation)된 데이터에 의해 형성되고 발현된다는 것임. 이는 AI의 작동 방식을 이해하는 것이 곧 인간 인지 과정의 일부를 이해하는 열쇠가 될 수 있음을 보여줌.

생성형 AI는 입력 데이터의 품질(Quality of Input Data)에 크게 의존하며, '쓰레기 입력, 쓰레기 출력(Garbage In, Garbage Out)' 원칙은 여전히 유효함을 강조함. AI는 잘못된 데이터나 편향된 정보를 정제하는 것이 아니라, 오히려 그럴듯한 유창함(Fluency)을 더해 데이터의 오류를 감추거나 증폭시킬 수 있음. 따라서 AI의 결과물을 비판적으로 평가하기 위해서는, 모델의 성능이나 프롬프트 엔지니어링(Prompt Engineering)뿐만 아니라 데이터셋의 편향성(Dataset Bias)과 일관성을 면밀히 검토하는 것이 중요함. AI는 데이터를 좋게 만드는 것이 아니라, 데이터를 더 '유창하게' 만들 뿐이라는 점을 명확히 함.