웹 기반 데이터 파이프라인 툴 FAST, 이제 코딩 없이 데이터 배치를!
by DD
1년 전
조회수 2
웹 기반 데이터 파이프라인 생성 툴인 FAST를 소개하며, 기존 배치 시스템의 문제점을 지적함
Airflow를 기반으로, 웹 UI를 통해 배치 생성 및 관리 기능을 제공하여 사용성을 향상시킴
FAST 도입 후, 사용자는 SQL 지식만으로 배치를 구성 가능하며, 데이터 엔지니어의 개입을 최소화함
FAST 아키텍처 심층 분석
FAST는 Airflow를 활용하여 안정적인 배치 시스템을 구축한다. 구체적으로, 웹 UI에서 정의된 파이프라인을 Python 코드와 YAML 구성 파일로 자동 변환한다. 따라서, 사용자는 복잡한 설정 없이 데이터 파이프라인을 쉽게 구성하고 관리할 수 있다.
기존 시스템 vs FAST: 트레이드오프
기존 배치 시스템은 Zeppelin Cron과 Airflow DAG를 사용했지만, 유지보수 및 사용성 측면에서 어려움이 있었다. FAST는 웹 UI를 통해 이러한 문제를 해결하고, 데이터 엔지니어의 개입을 줄여 개발 생산성을 향상시켰다. 반면, Airflow의 복잡성은 여전히 존재한다.
FAST, 데이터 리터러시 플랫폼으로의 확장
FAST는 AutoML 및 Pyspark 지원을 통해 MLops 영역으로 확장될 예정이다. 따라서, 비개발자도 쉽게 모델을 개발하고, 데이터 파이프라인을 구축할 수 있다. 결과적으로, 조직 내 데이터 리터러시를 높이고, 데이터 활용성을 극대화할 수 있을 것으로 기대된다.
