분석 데이터를 API로! 데이터 서빙 서비스 구축 사례

분석 데이터를 프로덕션에서 활용하기 위해 데이터 서빙 서비스(dataserving)를 구축

S3, Airflow, Spark 기반의 데이터 파이프라인을 통해 분석 데이터를 처리하고, DocumentDB를 활용하여 API 제공

데이터 분석가가 직접 API를 구축하고, 다양한 데이터 제품 출시를 가능하게 함

데이터 서빙 아키텍처 심층 분석

데이터 파이프라인에서 생성된 분석 데이터를 dataserving이 프로덕션 API로 제공한다. 구체적으로 S3, Glue 기반의 저장소에 데이터를 저장하고, DocumentDB를 백엔드로 활용한다. 따라서 데이터 분석가는 protobuf로 API 명세를 정의하고, 데이터 제품을 직접 구축할 수 있다.

Dataserving의 장점과 한계

Dataserving은 데이터 분석가의 API 구축을 용이하게 하여 데이터 제품 출시 속도를 높였다. 반면, 데이터 종류별 접근 제어, 실시간성 확보, 유저 이벤트 스트림 처리 등 추가적인 고려 사항이 존재한다. 따라서 지속적인 개선을 통해 서비스 안정성을 확보해야 한다.

데이터 서빙 서비스의 실전 적용 가이드

분석 데이터를 프로덕션에 활용하기 위해 dataserving과 같은 데이터 서빙 서비스를 구축한다. 데이터 분석가가 직접 API를 정의하고, protobuf를 활용하여 명세를 관리한다. DocumentDB와 같은 NoSQL 데이터베이스를 활용하여 유연한 데이터 모델을 구축하는 것이 중요하다.