카카오뱅크, Airflow로 펀드 배치 시스템 구축
by DD
1년 전
조회수 16
카카오뱅크가 펀드 시스템 구축에 Airflow를 도입하여 클라우드 환경을 구축함
Kubernetes Executor를 활용, 금융 규제 준수 및 감사 로그 기능을 구현함
DAG 정의 컨벤션 및 접근 통제 설정을 통해 시스템 안정성을 확보함
Airflow 아키텍처 및 구성 요소
Airflow는 DAG를 통해 워크플로우를 정의하고, Executor를 사용하여 작업을 실행한다. 구체적으로 DAG는 태스크들의 집합이며, Kubernetes Executor는 각 태스크를 독립된 파드로 실행한다. 따라서 클라우드 환경에서 자원 효율성을 높일 수 있다.
Kubernetes Executor vs Celery Executor
Celery Executor는 다수의 워커를 통해 병렬 처리를 지원하지만, 워커 상시 점유로 인한 자원 낭비가 발생할 수 있다. 반면 Kubernetes Executor는 파드 기반으로, 에 유리하다. 따라서 카카오뱅크는 를 선택하여 를 달성했다.
