아자르, 개인정보 삭제 정책, 이벤트 기반 아키텍처로 구현

아자르는 이벤트 기반 아키텍처를 통해 데이터 삭제의 유연성을 확보했다. Kafka를 활용하여 마이크로서비스 간 비동기 통신을 구현하고, 각 서비스는 자신의 책임 영역 내에서 데이터를 삭제한다. 따라서, 확장성 확보와 유지보수성 향상을 동시에 달성했다.

데이터는 Privacy Type에 따라 보관 기간이 다르게 설정되며, 이벤트 예약부와 처리부로 분리되어 관리된다. 백필(Backfill) 기능을 통해 데이터 손실 없이 개인정보 삭제를 수행하며, Databricks를 활용하여 대규모 데이터 처리의 효율성을 높였다. 데이터 무결성을 보장하기 위해 노력했다.

아자르는 이벤트 발행 보장을 위해 트랜잭셔널 아웃박스 패턴과 Kafka Producer의 `ack level`을 `all`로 설정했다. 컨슈머는 Manual Commit을 통해 데이터 삭제 성공 여부를 확인하고, 실패 시 재시도 또는 DLQ를 활용한다. 결과적으로 데이터 손실 방지 및 서비스 안정성을 확보했다.