Pinterest, AI 기반 Text-to-SQL로 분석 생산성 10배 향상
by DD
4개월 전
조회수 48
Pinterest는 10만 개 이상의 분석 테이블과 2,500명 이상의 분석 사용자를 위해 RAG 기반 Text-to-SQL 시스템을 구축함
통합 컨텍스트-의도 임베딩(Unified Context-Intent Embeddings)을 활용하여 쿼리의 의미를 파악하고, 구조적/통계적 패턴(Structural & Statistical Patterns)과 거버넌스(Governance)를 결합하여 신뢰할 수 있는 결과를 제공
AI 기반 문서 자동 생성, 조인 기반 계보(Join-Based Lineage)를 통해 데이터 거버넌스(Data Governance) 자동화 및 분석 생산성 향상
분석가의 쿼리 기록을 활용하여 재사용 가능한 지식 기반(Reusable Knowledge Base)을 구축하고, 지속적인 학습을 통해 시스템 성능을 개선
통합 컨텍스트-의도 임베딩(Unified Context-Intent Embeddings)의 작동 원리
Pinterest는 쿼리 기록을 분석하여 분석 의도(Analytical Intent)를 파악하고, 이를 기반으로 쿼리를 임베딩(Embedding)하는 방식을 채택했다.
3단계 파이프라인: 도메인 컨텍스트 주입(Domain Context Injection), SQL을 텍스트로 변환, 텍스트를 임베딩으로 변환
도메인 컨텍스트 주입: PinCat의 테이블/컬럼 설명, 용어집, 메트릭 정의 등을 활용하여 LLM(Large Language Model)의 이해도 향상
텍스트 변환: SQL 쿼리를 분석 의도를 담은 자연어 설명으로 변환하여
