Agentic AI 시대, Databricks가 제시하는 데이터 플랫폼의 미래

기업 데이터는 여러 시스템에 흩어져 있고 권한/보안 정책이 달라 AI Agent 도입에 어려움이 존재함

Agentic AI 성공의 핵심은 데이터 연결성(Data Connectivity)과 업무 맥락 이해(Business Context Understanding), 그리고 AI 거버넌스(AI Governance)임

Databricks는 Lakehouse//RT와 Lakebase를 통해 실시간 데이터 처리 능력(Real-time Data Processing)을 강화하고 Genie로 AI Assistant 기능을 확장함

Agentic AI 시대의 데이터 플랫폼은 분석을 넘어 AI Agent의 실행 기반(Execution Foundation for AI Agents)으로 진화해야 함

Agentic AI를 위한 컨텍스트와 제어의 중요성

기업 환경에서 AI Agent가 실질적인 업무를 수행하기 위해서는 데이터 자체의 연결성(Data Connectivity)을 넘어, 비즈니스 용어, 지표, 프로세스와 같은 업무 맥락(Business Context)을 이해하는 것이 필수적이다.

데이터 격리 아키텍처(Data Isolation Architecture): 여러 시스템에 흩어진 데이터와 상이한 권한 정책은 Agent의 신뢰성을 저해하는 주요 요인이다.

AI 거버넌스(AI Governance): Agent의 무분별한 사용은 비용 증가, 보안 위협, 정책 위반으로 이어질 수 있으므로, 사용자 접근 제어, 모델 사용 정책, 비용 통제 체계 마련이 선행되어야 한다.

결론적으로, Agentic AI의 성공은 단순히 최신 LLM 모델을 활용하는 것을 넘어, 기업 고유의 맥락을 AI에게 학습시키고 통제 가능한 운영 환경을 구축하는 데 달려 있다.

Lakehouse//RT와 Lakebase를 통한 실시간 데이터 처리

Databricks는 Agentic AI 시대에 요구되는 실시간 데이터 처리 능력(Real-time Data Processing)을 강화하기 위해 Lakehouse 아키텍처를 확장하고 있다.

Lakehouse//RT: BI 서빙 및 운영 분석뿐만 아니라, 밀리초(millisecond) 수준의 응답 속도와 높은 동시성이 요구되는 워크로드 지원을 목표로 한다. 별도의 데이터 이동 없이 Lakehouse 내에서 실시간 성능을 제공하는 것이 핵심이다.

Lakebase: Serverless Postgres 기반으로, Agentic 애플리케이션을 위한 운영 데이터베이스 계층을 담당한다. 자동 확장, scale-to-zero, 복원력(Resiliency)을 제공하여 운영 데이터베이스의 가용성(Availability)을 극대화한다.

이러한 확장은 OLTP와 OLAP를 통합하는 LTAP(Lake Transactional + Analytical Processing) 방향으로 나아가며, 데이터 플랫폼의 실시간성과 운영 효율성을 동시에 높인다.

Genie: 데이터 기반 업무 자동화 및 협업 도구

Databricks Genie는 단순한 챗봇을 넘어, 사용자가 데이터 기반으로 업무를 수행하도록 돕는 AI Assistant로 진화하고 있다.

자연어 기반 질의응답: 사용자는 복잡한 SQL이나 분석 도구 없이 자연어로 질문하고, Genie는 데이터의 의미와 맥락을 이해하여 인사이트를 제공한다.

업무 자동화 연결: Genie는 단순 정보 제공을 넘어, 매출 변화 원인 분석, 고객 세그먼트 도출, 후속 액션 추천 및 실행까지 Agent 기반의 업무 자동화(Task Automation)로 확장될 수 있다.

Genie Ontology: 기업 고유의 용어, 지표, 프로세스 정보를 연결하여 AI가 비즈니스 맥락(Business Context)을 깊이 이해하도록 지원하는 핵심 기반이다. 이는 RAG(Retrieval-Augmented Generation) 도입 시 발생하는 '회사 용어 미이해' 문제를 해결하는 데 기여한다.

Genie ZeroOps와 App Builder: 운영 및 개발 방식의 혁신

Agentic AI는 데이터 분석 영역을 넘어 운영(Operations)과 개발(Development) 방식에도 변화를 가져온다.

Genie ZeroOps: 데이터 플랫폼의 Job, Pipeline, Model 등을 모니터링하고 관리하는 Agentic 운영 모델을 제시한다. 장애 감지, 원인 분석, 조치 제안까지 Agent가 수행하여 운영 생산성을 향상시킨다.

Genie App Builder: 엔터프라이즈 환경에서 보안 및 권한이 인증된 데이터 기반 앱을 누구나 쉽게 만들고 배포할 수 있도록 지원한다. 이는 IT 조직의 거버넌스 부담을 줄이고 현업 사용자의 데이터 활용도를 높이는 데 기여한다.

결과적으로, IT 조직은 안전한 거버넌스 체계(Secure Governance Framework)를 제공하고, 현업 사용자는 이를 기반으로 데이터 기반 앱을 직접 개발하는 방식으로 협업 모델이 변화할 것이다.

Omnigent와 OpenSharing: 개방형 Agent 생태계 구축

Databricks는 다양한 Agent 프레임워크와 모델을 통합적으로 관리하고 실행하기 위한 개방형 메타 하네스(Open Meta Harness)인 Omnigent를 발표했다.

멀티 Agent 환경: 기업은 특정 벤더나 프레임워크에 종속되지 않고, 다양한 Agent를 통합적으로 운영하고 거버닝할 수 있는 구조가 필요하다. Omnigent는 이러한 실행 및 관찰(Execution & Observation) 문제를 해결한다.

OpenSharing 프로토콜: 데이터, 모델, Agent, 앱을 클라우드 및 벤더에 관계없이 공유하고 재사용할 수 있는 상호운용성(Interoperability)을 강조한다. 이는 데이터 플랫폼의 경쟁력이 폐쇄적인 기능이 아닌, 개방적인 생태계 제공 능력으로 확장되고 있음을 시사한다.

결론적으로, Databricks는 개방형 프로토콜(Open Protocol) 기반의 생태계 구축을 통해 Agentic AI 시대의 플랫폼 경쟁력을 확보하려 한다.