오픈텔레메트리(OpenTelemetry) 표준으로 LLM 추적, 벤더 종속성 탈출!

오픈텔레메트리(OpenTelemetry)는 LLM 추적을 위한 표준인 GenAI Semantic Conventions을 발표하여, 추적 데이터(Tracing Data)의 상호 운용성(Interoperability)을 확보했다. 이 표준은 세 가지 주요 스팬(Span)을 정의한다.

스팬 이름(Span Name)은 {operation} {name} 형식으로 지정하며, 기존 벤더 종속적인 추적 방식에서 벗어나 표준화된 속성(Standardized Attributes)을 사용한다. 이를 통해 다양한 백엔드(Backend)에서 추적 데이터를 시각화할 수 있다.

기존 추적 방식에서 오픈텔레메트리(OpenTelemetry) 표준으로 마이그레이션(Migration)하는 과정에서, 저자는 이중 방출(Dual-Emit) 방식을 채택했다. 이는 기존 속성과 새로운 표준 속성을 동시에 내보내는 방식으로, 하위 호환성(Backward Compatibility)을 유지하면서 점진적으로 표준을 적용할 수 있도록 한다.

이러한 접근 방식은 기존 사용자(Existing Users)에게 미치는 영향 최소화하면서, 표준을 준수하는 방향으로의 전환을 가능하게 한다.

오픈텔레메트리(OpenTelemetry) 표준은 개인 정보 보호(Privacy)를 최우선 가치로 삼아, 프롬프트(Prompt)와 완료(Completion)를 기본적으로 기록하지 않도록 권고한다. 이는 민감한 정보의 무분별한 노출을 방지하기 위한 조치이다.

이러한 접근 방식은 데이터 유출 위험(Data Leakage Risk)을 최소화하면서, 필요한 경우에만 프롬프트 및 완료를 기록할 수 있도록 한다.

오픈텔레메트리(OpenTelemetry) 표준을 준수함으로써 얻을 수 있는 가장 큰 장점은 다양한 백엔드(Backend)와의 호환성(Compatibility)이다. 표준화된 속성을 사용하면, 특정 벤더(Vendor)에 종속되지 않고 여러 도구에서 추적 데이터를 시각화할 수 있다.

결과적으로 벤더 종속성(Vendor Lock-in)을 방지하고, 다양한 도구를 활용하여 LLM 시스템을 모니터링할 수 있다.

저자는 오픈텔레메트리(OpenTelemetry) 표준을 구현하는 과정에서, 추적 데이터(Tracing Data)가 전혀 수집되지 않는 문제에 직면했다. 이는 Node.js SDK의 특정 설정으로 인해 발생한 문제였다.

이러한 경험을 통해, 저자는 테스트의 중요성(Importance of Testing)을 강조하며, 실제 구현 환경에서의 테스트를 통해 예상치 못한 문제를 발견하고 해결하는 과정을 보여준다.