클로드(Claude)로 웹/앱 자동화? 정확도 높이는 비법 공개!

Sonnet 4.6: 클릭 정확도(Clicking Accuracy)와 추론 능력(Reasoning)의 균형

Opus 4.7: 높은 추론 능력과 높은 해상도 지원

사고 방식(Thinking Effort) 설정: low, medium, high, max

Opus 4.7 권장 설정: 대부분의 경우 high, 고속 처리/비용 효율성을 위해서는 low, 복잡한 작업에는 max

4.6 모델군 권장 설정: 대부분의 경우 medium, 고속 처리/비용 효율성을 위해서는 low, 복잡한 작업에는 high

훈련 기반 방어(Training-time Robustness): 악성 지시(Malicious Instructions)를 식별하고 거부하도록 모델을 훈련

실시간 분류기(Real-time Classifiers): 입력 콘텐츠를 스캔하여 프롬프트 주입 시도 감지

지속적인 레드팀(Continuous Red Teaming): 공격 기법에 대한 지속적인 평가 및 방어 체계 강화

공식 컴퓨터 사용 도구(Official Computer Use Tool) 사용: 프롬프트 주입 분류기가 자동으로 실행

안전한 개발 환경 구축: 에이전트의 권한 제한, 작업 기록(Log) 및 모니터링, 웹 콘텐츠를 신뢰하지 않는 설계

캐시 브레이크포인트(Cache Breakpoints) 설정: 시스템 프롬프트(System Prompt) 및 도구 정의(Tool Definitions)에 1개, 최근 도구 결과(Tool Results)에 최대 3개 설정

롤링 버퍼(Rolling Buffer) 방식: keep_n개의 최신 스크린샷 유지, interval 간격으로 오래된 스크린샷을 placeholder로 대체

스크린샷 요약(Screenshot Summarization): 긴 작업 흐름(Workflow)의 경우, 스크린샷을 요약하여 컨텍스트 크기(Context Size)를 줄임

캐시 효율성(Cache Efficiency) 극대화: 프롬프트 캐싱(Prompt Caching)을 통해 중복되는 컨텍스트에 대한 비용을 절감

작업 흐름 구성: 작업 단계(WorkflowStep)를 캡처하여 URL, 액션, 선택자, 좌표, 설명, 타임스탬프(Timestamp) 등을 저장

플레이백 모드: Strict, Adaptive, Goal-oriented 모드 지원

Strict 모드: 정확한 단계(Exact Steps)를 따르며, UI 변경 시 중단

Adaptive 모드: UI 변경에 적응하며, 대부분의 경우에 적합

Goal-oriented 모드: 목표 달성에 집중하며, UI 변경에 유연하게 대응

컨텍스트 구성: 사용자 프롬프트, 작업 흐름 컨텍스트, 스크린샷을 조합하여 프롬프트 생성