traceAI: GenAI를 위한 오픈소스 LLM 추적 도구
by DD
3개월 전
조회수 24
traceAI는 기존 옵저빌리티 스택과 연동되는 오픈소스 LLM 추적 도구로, GenAI의 의미 체계를 정확히 파악함
프롬프트(Prompt), 완성(Completion), 토큰(Token), 검색(Retrieval), 에이전트 결정(Agent Decision) 등 다양한 GenAI 관련 데이터를 캡처
Datadog, Grafana, Jaeger 등 OTel 백엔드(OTel Backend)를 지원하며, Python, TypeScript, Java, C# 등 다양한 언어와 프레임워크를 지원
traceAI의 핵심 기능: GenAI 시맨틱(Semantic) 추적
traceAI는 기존 HTTP 기반 추적 방식에서 벗어나 GenAI의 의미 체계(Semantic)를 이해하는 것이 특징이다.
프롬프트(Prompt), 완성(Completion), 토큰(Token) 등 LLM의 핵심 구성 요소(Core Component)를 정확하게 캡처
에이전트 결정(Agent Decision) 및 검색(Retrieval)과 같은 복잡한 GenAI 워크플로우(Workflow) 추적 지원
기존 옵저빌리티 도구와의 통합을 통해 GenAI 애플리케이션(Application)의 가시성(Visibility) 확보 가능
![[traceAI] Open-source LLM tracing that speaks GenAI, not HTTP.](https://static.devday.kr/thumbnails-w1200/ph-1107797-87b1e635.webp)
