Databricks, AI 에이전트 시대 위한 데이터 플랫폼 전략 공개

AI 에이전트(Agent)가 단순 답변 생성을 넘어 실제 업무 수행 시대로 발전하며 데이터 플랫폼의 역할 재정의 필요성이 대두됨

데이터 팀은 폭증하는 데이터 수요와 제한된 인력 문제에 직면하며, 에이전트 도입 시 정확성, 거버넌스, 확장성 과제 해결이 중요함

Databricks는 Lakehouse RT, Unity AI Gateway, GenAI Ontology를 중심으로 데이터 플랫폼 중심의 Agentic Analytics 아키텍처를 제시함

핵심은 AI 모델 경쟁이 아닌, 에이전트가 신뢰할 수 있는 데이터와 비즈니스 의미 체계(Semantic Layer)를 활용하도록 지원하는 것임

Agentic AI 시대의 데이터 플랫폼 역할 재정의

Agentic AI는 단순 질의응답을 넘어 실제 업무 수행으로 발전하며 데이터 플랫폼에 새로운 요구사항을 제시함. 기존 데이터 팀은 폭증하는 데이터 수요와 제한된 인력 문제에 직면해 있으며, Agent는 이러한 생산성 격차 해소에 기여할 수 있음. 그러나 Agent 도입 시 정확성(Accuracy), 거버넌스(Governance), 확장성(Scale)이라는 세 가지 핵심 과제를 해결해야 함. 특히 기업 환경에서는 Agent가 비즈니스 맥락을 이해하고, 데이터 접근 권한(Data Access Permissions)을 통제하며, 수많은 Agent의 동시 데이터 조회 부하를 감당할 수 있어야 함. Databricks는 이러한 변화에 대응하여 데이터 플랫폼 중심의 Agentic Analytics 아키텍처를 제안함.

Lakehouse RT 기반 초고성능 컴퓨트 엔진

Agentic Analytics 환경에서는 수많은 Agent가 동시에 데이터를 조회하므로 고성능 컴퓨트 엔진이 필수적임. Databricks는 이를 위해 Lakehouse RT(Real-Time)를 발표했으며, 이는 Agentic Analytics 환경에 최적화된 초고성능 컴퓨트 엔진임. 공개된 벤치마크에 따르면, 10,000개의 동시 대시보드 환경에서도 약 150ms의 응답 시간을 유지하여 수천 개의 Agent가 동시에 데이터를 조회하는 상황을 지원함. 이는 데이터 제공 속도(Data Delivery Speed)가 AI 모델 자체보다 Agentic Analytics 성공에 더 중요함을 시사함. 기존 Serverless SQL 역시 대규모 테이블 스캔 및 복잡한 분석 워크로드에 최적화되어 지속적인 성능 개선이 이루어지고 있음.

Unity AI Gateway를 통한 통합 거버넌스

Agent가 다양한 내부 및 외부 시스템(OpenAI, Claude, Gemini 등)과 연동될 때 중앙 집중식 거버넌스(Centralized Governance)가 중요해짐. Databricks의 Unity AI Gateway는 모든 AI 요청의 중앙 관문 역할을 수행하며, 데이터뿐만 아니라 모델과 Tool 사용까지 통합 관리함. 특히 MCP(Model Context Protocol) 기반 Tool 사용 시, 사용자의 권한과 Agent의 권한을 분리하여 세분화된 접근 제어(Granular Access Control)를 가능하게 함. 이는 Agent가 실제 업무를 수행할 때 발생할 수 있는 보안 및 통제 문제를 해결하는 핵심 요소임. 모든 AI 요청의 Traceability 확보를 통해 감사 및 규정 준수 요구사항을 충족시킴.

GenAI Ontology를 통한 비즈니스 의미 체계 구축

Agentic AI의 핵심 과제는 비즈니스 맥락(Business Context) 이해이며, 이는 모델이 아닌 Semantic Layer에서 해결해야 함. Databricks의 GenAI Ontology는 조직 전체의 의미 체계를 학습하여 Ontology Snippet 형태로 저장하며, 비즈니스 정의, 데이터 자산, 집계 규칙, 신뢰도 정보 등을 포함함. 이를 통해 Agent는 단순히 SQL을 생성하는 것을 넘어 비즈니스 의미를 이해하고 데이터를 조회하게 됨. OntoRank 기능은 작성자의 전문성 및 도메인 경험을 기반으로 정보의 신뢰도를 판단하여, Agent가 상황에 맞는 가장 적절한 컨텍스트를 선택하도록 지원함. 이는 데이터와 의미 체계의 분리를 해결하고 Single Source of Truth 구현을 목표로 함.

다양한 사용자 경험을 위한 Agent 선택 및 Trace 기능

Databricks는 사용자 역할에 따라 적합한 Agent 인터페이스를 제공함. 비즈니스 사용자를 위한 Genie Agent는 자연어 질문을 통해 답변을 얻을 수 있으며, 개발자 및 AI 엔지니어를 위한 Agent Bricks 플랫폼은 복잡한 멀티 Agent 구성 및 Supervisor Agent 구축을 지원함. 외부 Agent(Claude, Codex 등)에도 동일한 Semantic Layer를 제공하는 Genie MCP를 통해 일관된 의미 체계 활용이 가능함. 또한, 모든 Agent의 행동(사용된 Tool, 참조한 Ontology, 조회 데이터, 추론 과정 등)을 중앙에서 기록하고 추적하는 Trace 기능은 AI 활용의 Explainability와 Auditability를 보장하는 핵심 요소임. 결국 Agentic Analytics의 성공은 모델이 아닌, 데이터와 의미 체계, 거버넌스를 Agent가 얼마나 잘 활용하는지에 달려있음.