분석 데이터를 API로! 데이터 서빙 서비스 구축 사례
by DD
3년 전
조회수 4
분석 데이터를 프로덕션에서 활용하기 위해 데이터 서빙 서비스(dataserving)를 구축
S3, Airflow, Spark 기반의 데이터 파이프라인을 통해 분석 데이터를 처리하고, DocumentDB를 활용하여 API 제공
데이터 분석가가 직접 API를 구축하고, 다양한 데이터 제품 출시를 가능하게 함
데이터 서빙 아키텍처 심층 분석
데이터 파이프라인에서 생성된 분석 데이터를 dataserving이 프로덕션 API로 제공한다. 구체적으로 S3, Glue 기반의 저장소에 데이터를 저장하고, DocumentDB를 백엔드로 활용한다. 따라서 데이터 분석가는 protobuf로 API 명세를 정의하고, 데이터 제품을 직접 구축할 수 있다.
Dataserving의 장점과 한계
Dataserving은 데이터 분석가의 API 구축을 용이하게 하여 데이터 제품 출시 속도를 높였다. 반면, 데이터 종류별 접근 제어, 실시간성 확보, 처리 등 추가적인 고려 사항이 존재한다. 따라서 지속적인 개선을 통해 을 확보해야 한다.
