데브시스터즈, 데이터 엔지니어링 데이 개최!

by DD
11개월 전
조회수 14

데브시스터즈가 데이터 엔지니어링 관련 기술 공유 행사 개최

JSON 로그 파이프라인 구축, 준실시간 파이프라인 등 기술 발표 진행

DW 공통화 과정의 문제점과 해결 경험 공유

안정적인 로그 파이프라인 설계

JSON 형식 로그는 유연하지만, 스키마 관리의 어려움이 있다. 따라서 스키마 기반 로그 파이프라인을 구축하여 데이터 일관성을 확보했다. 구체적으로, 여러 버전의 스키마를 동시에 지원하며 데이터 분석 환경 안정화를 달성했다.

준실시간 데이터 파이프라인 구축

게임 지표를 신속하게 제공하기 위해 준실시간 파이프라인을 구축했다. 기존 시스템의 정확도와 안정성 문제를 해결하기 위해 노력했다. 데이터 파이프라인 구축 과정에서 팀과 고객의 요구사항을 반영하여 실용적인 데이터 서비스를 만들었다.

DW 공통화의 도전과 극복

여러 게임의 데이터를 통합 DW로 관리하는 '게임 DW 공통화'를 추진했다. 하지만 예상치 못한 문제에 직면했다. 데이터 품질 관리의 어려움 속에서 DW 설계의 중요성을 깨달았다. 결과적으로, 데이터 기반 의사결정을 위한 기반을 마련했다.

데브시스터즈 엔지니어링 데이 - Data 돌아보기