Airflow 개발, 운영, 데이터 분석까지! Astronomer Agents로 생산성 UP!

by DD
3개월 전
조회수 58

Astronomer Agents는 Airflow 사용자의 Dag 개발, 테스트, 디버깅, 운영 전반을 지원하는 AI 기반 플러그인이다.

실제 Airflow API와 Dag Run, 로그에 접근하여 Dag 생성, 실행, 실패 원인 분석을 수행하며, 추측이 아닌 확인에 기반한 답변을 제공한다.

/authoring-dags, /testing-dags, /debugging-dags 등의 skill을 통해 Dag 개발 사이클 전체를 지원하며, Airflow 2.x에서 3.x 마이그레이션 자동화 기능도 제공한다.

Snowflake, BigQuery, PostgreSQL 등 25개 이상의 데이터베이스를 연결하여 자연어로 데이터 분석 및 데이터 리니지 추적 기능을 제공한다.

Astronomer Agents의 핵심: AI 기반 Dag 개발 사이클 자동화

Astronomer Agents는 Airflow 사용자가 Dag를 작성하는 순간부터 테스트, 디버깅, 운영 중 발생하는 질문에 대한 접근 방식을 혁신한다. 특히, /authoring-dags, /testing-dags, /debugging-dags 등의 skill을 통해 Dag 개발 사이클 전체를 지원한다. Dag 작성(Dag Authoring), 테스트(Dag Testing), 디버깅(Dag Debugging)을 자연어 명령으로 수행하며, Airflow API와 Dag Run, 로그에 직접 접근하여 정확한 정보를 제공한다. 이는 기존의 추측 기반 디버깅 방식에서 벗어나, 실제 상태를 확인하고 판단하는 흐름으로 전환을 의미한다.

Airflow 2.x → 3.x 마이그레이션 자동화: 생산성 향상

Astronomer Agents는 Airflow 2.x에서 3.x로의 마이그레이션을 지원하여, 개발자의 마이그레이션 부담(Migration Burden)을 줄인다. Ruff 자동 수정(Ruff Auto-Fix) 기능을 통해 코드 스타일 문제를 자동으로 해결하고, deprecated된 import 경로 변경, context 키 변경, 메타데이터 DB 직접 접근 코드 리팩토링 등을 자동으로 처리한다. 이는 개발자가 마이그레이션 과정에서 겪는 번거로움을 줄여주고, 마이그레이션 시간(Migration Time)을 단축하여 생산성을 향상시킨다.

데이터 웨어하우스 연동 및 자연어 분석 기능

Astronomer Agents는 Snowflake, BigQuery, PostgreSQL 등 25개 이상의 데이터베이스를 연결하여 자연어 기반 데이터 분석을 지원한다. /init, /analyzing-data, /checking-freshness, /profiling-tables 등의 skill을 통해 웨어하우스 스키마 탐색, 데이터 분석 쿼리 생성, 데이터 신선도 확인, 테이블 프로파일링을 수행한다. 특히, 데이터 리니지 추적 기능을 통해 데이터 출처와 흐름을 시각적으로 파악할 수 있으며, 이는 데이터 분석 과정의 효율성을 높이고 데이터 이해도(Data Understanding)를 향상시킨다.

Astronomer Agents 설치 및 설정: 간편한 시작

Astronomer Agents는 Claude Code가 설치된 환경에서 단 한 줄의 명령어로 설치가 가능하다. `npx skills add astronomer/agents` 명령어를 통해 간편하게 설치할 수 있으며, 별도의 복잡한 설정 없이 바로 사용 가능하다. Astro 프로젝트를 시작하기 위한 명령어인 `/setting-up-astro-project`를 통해 프로젝트 구조 생성 및 기본 설정을 완료하고, `astro dev start` 명령어를 통해 Airflow UI를 바로 확인할 수 있다. 이는 개발자가 빠르게(Quickly) Astronomer Agents를 시작하고, Airflow 개발 환경을 구축할 수 있도록 돕는다.

Astronomer Agents, Airflow를 쓰는 방식을 바꿔버릴 도구