카카오뱅크, Airflow로 펀드 배치 시스템 구축
by DD
1년 전
조회수 16
카카오뱅크가 펀드 시스템 구축에 Airflow를 도입하여 클라우드 환경을 구축함
Kubernetes Executor를 활용, 금융 규제 준수 및 감사 로그 기능을 구현함
DAG 정의 컨벤션 및 접근 통제 설정을 통해 시스템 안정성을 확보함
Airflow 아키텍처 및 구성 요소
Airflow는 DAG를 통해 워크플로우를 정의하고, Executor를 사용하여 작업을 실행한다. 구체적으로 DAG는 태스크들의 집합이며, Kubernetes Executor는 각 태스크를 독립된 파드로 실행한다. 따라서 클라우드 환경에서 자원 효율성을 높일 수 있다.
Kubernetes Executor vs Celery Executor
Celery Executor는 다수의 워커를 통해 병렬 처리를 지원하지만, 워커 상시 점유로 인한 자원 낭비가 발생할 수 있다. 반면 Kubernetes Executor는 파드 기반으로, 비용 절감에 유리하다. 따라서 카카오뱅크는 Kubernetes Executor를 선택하여 클라우드 환경 최적화를 달성했다.
금융 규제 준수를 위한 Airflow 활용
금융 서비스는 감사 로그를 통해 모든 작업 내역을 기록하고, RBAC를 통해 접근 권한을 제어해야 한다. 따라서 Airflow의 감사 로그 기능과 접근 통제 설정을 활용하여 데이터 무결성을 확보했다. 결과적으로 금융 규제 준수와 운영 안정성을 동시에 달성했다.
