Claude Code 모델 선택과 노력 수준 조절 가이드

Claude Code는 사용자 입력, 시스템 프롬프트, 대화 기록 등 모든 정보를 하나의 API 요청(Single API Request)으로 묶어 전송함. 서버에서는 이 텍스트를 토큰화(Tokenization)하여 고유 어휘집(Vocabulary)의 정수 ID 배열로 변환하며, 모델은 이 배열을 입력받아 학습된 가중치(Weights)를 통해 각 토큰의 출현 확률을 계산하고 다음 토큰을 예측함. 이 과정에서 모델의 가중치는 고정되어 있으며, 프롬프트나 컨텍스트는 모델의 예측 방향을 유도(Steering)할 뿐 가중치 자체를 변경하지는 않음. 따라서 모델이 존재하지 않는 API를 호출하는 AI 환각(Hallucination)은 학습된 패턴 기반의 확률적 예측 결과임.

모델 선택은 문제의 복잡성에 따라 결정되며, 더 큰 모델(Larger Model)은 미묘한 버그, 익숙하지 않은 도메인, 아키텍처 결정 등 어려운 문제에 적합함. 반면, 더 작은 모델(Smaller Model)은 코드 수정, 명확한 지시사항 기반 작업 등 일상적인 작업에 효율적임. 노력 수준(Effort Level)은 Claude가 작업을 완료하기 위해 얼마나 많은 토큰을 생성하고 검증할지를 결정하는 파라미터로, 높은 노력 수준은 더 깊은 계획 수립, 추가 검증, 가설 검증 등을 통해 높은 확신도의 답변(Higher Confidence Answer)을 생성함. 이는 토큰 소비량(Token Consumption) 증가로 이어지지만, 복잡한 작업에서는 오히려 전체 작업 비용을 절감할 수 있음.

Claude 모델은 한 번에 전체 응답을 생성하는 것이 아니라, 한 번에 하나의 토큰(One Token Per Step)을 예측하고 이를 기존 시퀀스에 추가하여 다음 토큰을 계산하는 반복적인 루프를 통해 응답을 생성함. 이 루프는 대부분의 응답 대기 시간(Wait Time)과 출력 비용(Output Cost)을 발생시키며, 생성되는 토큰 수에 따라 비용이 결정됨. 모델 선택은 토큰당 비용에 영향을 미치고, 노력 수준은 생성되는 총 토큰 수에 영향을 미침. 최대 토큰 수(Max Tokens)는 응답 길이를 제한하는 유일한 하드 캡(Hard Cap)이며, 프롬프트 내 간결성 요청 등은 모델이 따르도록 훈련된 소프트 컨트롤(Soft Control)임.

노력 수준은 요청 시 프롬프트와 함께 모델에 전달되며, 모델은 이를 바탕으로 작업의 철저함과 확실성을 조절함. 높은 노력 수준에서는 계획 수립(Planning)의 깊이와 범위가 달라지며, 중간 결과에 따라 계획을 수정하고 불필요한 가설 검증을 건너뛰기도 함. Claude는 추가적인 가설 검증(Double-checking Additional Hypotheses)이나 정확성 검증에 더 많은 노력을 기울이지만, 단순 작업에서 의도적으로 사용량을 늘리지는 않음. 이는 모델 훈련(Model Training) 과정에서 '과잉 사고(Overthinking)'를 방지하여 효과성을 유지하기 위함임.

Claude가 잘못된 결과를 생성했을 때, 가장 먼저 제공된 컨텍스트(Provided Context)를 검토해야 함. 프롬프트가 모호하거나, 연결된 도구, 기술이 적절하지 않은 경우 발생할 수 있음. 만약 컨텍스트가 명확함에도 불구하고 결과가 좋지 않다면, '충분히 시도하지 않았는가(Didn't Try Hard Enough)' 또는 '충분히 알지 못했는가(Didn't Know Enough)'를 질문해야 함. 전자의 경우 노력 수준을 높이고, 후자의 경우 더 큰 모델로 전환하는 것을 고려해야 함. Fable, Opus, Sonnet 모델은 각각 전문가(Specialist), 전문가(Expert), 제너럴리스트(Generalist)로 비유될 수 있으며, 노력 수준은 이들이 작업에 투입하는 시간과 같다고 볼 수 있음.