LLM 도구의 API 트래픽을 감시하는 Sherlock, 토큰 사용량 추적 및 프롬프트 디버깅 지원

Sherlock은 LLM API 트래픽(Traffic)을 가로채어 실시간으로 토큰 사용량(Token Usage)을 시각화한다. 특히, 각 요청에 사용된 토큰 수를 정확히 파악하고, 컨텍스트 윈도우(Context Window) 사용량을 시각적으로 표시하여 비용 관리(Cost Management)를 돕는다. 또한, 모든 프롬프트를 마크다운(Markdown) 및 JSON 형식으로 자동 저장하여 프롬프트 디버깅(Prompt Debugging)을 용이하게 한다.

Sherlock은 mitmproxy를 사용하여 HTTPS 트래픽을 가로챈다. 이는 중간자 공격(MitM, Man-in-the-Middle Attack)의 위험을 내포하므로, 인증서 설치 및 관리가 중요하다. 사용자 인증서(User Certificate)를 시스템 신뢰 저장소에 설치해야 하며, 이는 보안 취약점으로 이어질 수 있다는 우려가 제기된다. 데이터 미저장 정책(Zero-Retention Policy)을 통해 민감한 정보 유출을 방지해야 한다.

커뮤니티에서는 Sherlock이 mitmproxy의 플러그인 형태로 제공되지 않고 독립 실행형으로 구현된 점에 대한 아쉬움을 표명한다. mitmproxy에 대한 높은 신뢰도를 바탕으로, 플러그인 방식이 보안 및 사용 편의성 측면에서 더 나은 선택일 수 있다는 의견이 제시된다. 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 보안을 강화해야 한다는 주장도 제기된다.

일부 댓글에서는 기업 환경에서 AI 도구의 광범위한 사용에 따른 데이터 거버넌스(Data Governance)의 중요성을 강조한다. 광범위한 AI 사용(Widespread AI Use)은 데이터 보안 및 개인 정보 보호에 대한 새로운 과제를 제기하며, 이에 대한 적절한 관리 및 통제 방안 마련이 시급하다는 지적이다. GDPR 규제 준수(GDPR Compliance)를 위한 노력이 필요하다.