Oracle DW를 Databricks Lakehouse로 이전하는 전략

수십 년간 운영된 Oracle 데이터 웨어하우스(Oracle Data Warehouse)의 확장성 및 기능 한계로 Databricks Lakehouse로의 데이터 플랫폼 현대화(Data Platform Modernization) 추진

비즈니스 Use Case 중심 접근(Use Case-centric Approach)을 통해 마이그레이션 우선순위 결정 및 리스크 최소화 전략 제시

Lakehouse Federation, Lakebridge, GenAI Migration 등 Databricks의 자동화 도구를 활용하여 ETL 로직 및 PL/SQL 코드 변환 가속화

Use Case 중심 마이그레이션 전략의 중요성

본 세션은 Oracle 데이터 웨어하우스(DW)를 Databricks Lakehouse로 이전하는 데 있어 데이터베이스 자체 이전이 아닌 비즈니스 Use Case 중심 접근을 강조합니다.

핵심 메시지: '데이터베이스를 옮기지 말고 Use Case를 옮겨라'는 원칙 하에, 높은 비즈니스 가치, 빠른 구현 가능성, 높은 가시성을 갖춘 첫 번째 Use Case 선정이 프로젝트 성공의 열쇠임을 설명합니다.

이점: Use Case 단위 분해는 마이그레이션 우선순위 결정, 일정 단축, 리스크 최소화에 기여하며, 특히 GenAI 기반 분석과 같은 Databricks의 강점을 조기에 활용하여 비즈니스 가치를 빠르게 제공할 수 있습니다.

반대 접근: 많은 조직이 시도하는 가장 크고 복잡한 업무부터 이전하는 방식은 실패 확률이 높으며, Databricks는 수주 단위 성과를 목표로 하는 점진적 접근을 권장합니다.

Lakehouse Federation을 통한 즉시 데이터 활용

Databricks의 Lakehouse Federation은 기존 Oracle 환경의 데이터를 Databricks에서 별도의 데이터 복사 없이 즉시 조회할 수 있게 지원합니다.

작동 방식: Oracle과 Databricks를 연결하고 Foreign Catalog를 생성하여, Oracle의 스키마와 테이블을 Databricks Catalog에 노출시킵니다.

주요 이점: BI First 마이그레이션 전략에서 특히 유용하며, BI 사용자들은 데이터 이전 완료 전에도 Databricks 환경에서 분석을 시작할 수 있습니다.

PoC 가속화: 수 주간의 데이터 복사 과정 없이 즉시 분석 환경을 구성할 수 있어, 마이그레이션 초기 진입 장벽을 크게 낮추고 빠른 검증을 가능하게 합니다.

결과: 이는 마이그레이션 프로젝트의 초기 속도와 사용자 경험을 획기적으로 개선하는 데 기여합니다.

Lakebridge를 활용한 객체 분석 및 변환 자동화

Lakebridge는 단순한 SQL 변환기를 넘어, Oracle 환경의 데이터베이스 객체 분석 및 마이그레이션 자동화 플랫폼으로 기능합니다.

Lakebridge Analyzer: Oracle 환경을 스캔하여 테이블, 뷰, Stored Procedure 등 마이그레이션 복잡도를 자동으로 분석하고, 변환 가능한 객체와 수동 작업이 필요한 부분을 사전에 파악합니다.

Lakebridge Converter: Oracle DDL 스크립트를 Databricks Delta Table 형태로 자동 변환하며, 데이터 타입 매핑을 지원합니다. Oracle Sequence와 같이 Databricks에 동일 객체가 없는 경우, 수동 검토 필요 정보를 함께 제공하여 작업자의 효율성을 높입니다.

목표: 단순히 코드를 생성하는 것을 넘어, 마이그레이션 작업자가 검토해야 할 핵심 영역을 식별하여 일정과 난이도 산정의 정확도를 높이는 데 중점을 둡니다.

GenAI Migration을 통한 PL/SQL 및 ETL 로직 자동 변환

수십 년간 축적된 PL/SQL Package와 Stored Procedure와 같은 복잡한 ETL 로직은 마이그레이션의 가장 큰 난관입니다.

GenAI 기반 변환: Databricks의 GenAI Migration 기능은 Oracle Package를 분석하여 Databricks SQL Stored Procedure 형태로 자동 변환합니다. Merge Statement, Recursive CTE, CONNECT BY, Sequence 호출 등 Oracle 고유 기능도 지원합니다.

단순 문법 치환 이상: GenAI는 Oracle 문법 분석, Databricks 호환 코드 생성, 변환 불가능한 부분 식별, 수동 수정 영역 표시, 변환 설명 주석 추가 등 지능적인 변환 프로세스를 제공합니다.

핵심 가치: 개발자는 실제로 수정이 필요한 부분에 집중할 수 있게 되어, 코드 이전 작업의 시간과 노력을 획기적으로 절감하고 마이그레이션 성공 가능성을 높입니다.

ETL First vs BI First 마이그레이션 방법론 비교

Databricks는 Oracle 마이그레이션을 위한 두 가지 주요 방법론을 제시했습니다.

ETL First: 전통적인 방식으로, 신규 데이터 수집부터 ETL 로직 이전, Data Mart 재구축 순으로 진행됩니다. 구조가 명확하고 운영 안정성이 높지만, 사용자가 성과를 체감하기까지 시간이 오래 걸리는 단점이 있습니다.

BI First: 데이터 소비 계층(Serving Layer)부터 이전하는 방식으로, BI Tool 연결 및 사용자 활용을 먼저 시작합니다. 사용자가 빠르게 Databricks 환경을 경험하고 AI/BI, 자연어 기반 분석 등 Databricks의 강점을 조기에 활용할 수 있습니다. 다만, 백엔드 ETL이 Oracle에 남아있을 수 있어 사용자 인식과 실제 완료 시점 간의 차이가 발생할 수 있습니다.

권장: Databricks는 BI First 접근 방식이 빠른 비즈니스 가치 제공 측면에서 더 효과적이라고 강조합니다.