당근, 로컬 프로필 데이터 관리 시스템 고도화

로컬 프로필 중복 문제 해결을 위해 병합 시스템을 구축함

Composite Snapshot 기술을 활용하여 데이터 유실 방지 및 정보 갱신

Reduce 추상화 기반의 유연한 데이터 선정 정책 구현

중복 프로필 병합 시스템의 한계

기존 중복 프로필 병합 방식은 정보 유실의 위험이 있었다. 병합 과정에서 최신 정보가 손실되는 문제를 해결하기 위해, Composite Snapshot 기술을 도입했다. 따라서 데이터 무결성을 유지하면서도 최신 정보를 대표 프로필에 반영할 수 있게 되었다.

Composite Snapshot 아키텍처

Local Profile Mutation 객체를 통해 변경 이력을 관리하고, 변경 시점과 소스를 기록한다. Reduce 추상화를 활용하여 유연한 데이터 선정 정책을 구현했다. Filter와 Evaluator를 조합하여 다양한 상황에 대응할 수 있도록 설계했다. 결과적으로 데이터 정확도를 높이고, 시스템의 확장성 확보에 기여했다.

Reduce 추상화 기반 정책 설계

Reduce 로직을 Filter와 Evaluator로 분리하여 유연성을 확보했다. Filter는 Candidate 포함 여부를 결정하고, Evaluator는 우선순위를 판단한다. 신뢰성 있는 데이터를 우선시하는 정책을 적용하여, 데이터 품질을 향상시켰다. 따라서 향후 정책 변경에 유연하게 대응할 수 있는 구조를 갖추게 되었다.