쿠키런 킹덤, 36시간의 데이터베이스 장애를 딛고 일어선 이야기

초기 장애는 Ballast 파일 경로 설정 오류로 인해 발생했다. 구체적으로, 잘못된 경로 설정으로 인해 파일 시스템이 손상되었고, 이로 인해 데이터베이스 쓰기 작업이 실패했다. 따라서, Raft 합의 알고리즘 기반의 CockroachDB 클러스터가 정상적으로 동작하지 못하고, 결국 서비스 중단으로 이어졌다.

장애 복구를 위해 SST 파일을 분석하고, Spark를 활용하여 데이터를 복구했다. 구체적으로, 손상된 노드에서 데이터를 추출하기 위해 SST 파일의 구조를 파악하고, CSV 파일로 변환하는 과정을 거쳤다. 반면, IMPORT INTO 명령어의 제약으로 인해 병렬 처리에 어려움이 있었고, 데이터 중복 처리를 위한 추가 작업이 필요했다.