traceAI: GenAI를 위한 오픈소스 LLM 추적 도구
traceAI는 기존 옵저빌리티 스택과 연동되는 오픈소스 LLM 추적 도구로, GenAI의 의미 체계를 정확히 파악함
프롬프트(Prompt), 완성(Completion), 토큰(Token), 검색(Retrieval), 에이전트 결정(Agent Decision) 등 다양한 GenAI 관련 데이터를 캡처
Datadog, Grafana, Jaeger 등 OTel 백엔드(OTel Backend)를 지원하며, Python, TypeScript, Java, C# 등 다양한 언어와 프레임워크를 지원
traceAI의 핵심 기능: GenAI 시맨틱(Semantic) 추적
traceAI는 기존 HTTP 기반 추적 방식에서 벗어나 GenAI의 의미 체계(Semantic)를 이해하는 것이 특징이다.
프롬프트(Prompt), 완성(Completion), 토큰(Token) 등 LLM의 핵심 구성 요소(Core Component)를 정확하게 캡처
에이전트 결정(Agent Decision) 및 검색(Retrieval)과 같은 복잡한 GenAI 워크플로우(Workflow) 추적 지원
기존 옵저빌리티 도구와의 통합을 통해 GenAI 애플리케이션(Application)의 가시성(Visibility) 확보 가능
OTel 기반 아키텍처(Architecture) 및 백엔드(Backend) 지원
traceAI는 OTel(OpenTelemetry)을 기본으로 설계되어, 다양한 OTel 백엔드(Backend)와 호환된다.
Datadog, Grafana, Jaeger 등 주요 옵저빌리티 플랫폼(Observability Platform) 지원
Python, TypeScript, Java, C# 등 다양한 프로그래밍 언어(Programming Language) 지원
기존 인프라(Infrastructure)에 쉽게 통합하여 LLM 추적 시스템(Tracing System) 구축 비용 절감
traceAI의 장점: 간편한 통합 및 오픈소스(Open Source) 라이선스
traceAI는 단 두 줄의 코드(Two Lines of Code)로 애플리케이션(Application)에 통합할 수 있어, 개발 생산성을 높인다.
새로운 벤더(Vendor)나 대시보드(Dashboard) 없이 기존 환경(Existing Environment)에서 바로 사용 가능
MIT 라이선스(MIT License)를 채택하여 자유로운 사용 및 수정(Modification) 가능
오픈소스(Open Source) 특성상 커뮤니티(Community)의 지속적인 지원과 발전을 기대할 수 있다.
![[traceAI] Open-source LLM tracing that speaks GenAI, not HTTP.](https://static.devday.kr/thumbnails-w1200/ph-1107797-87b1e635.webp)
