SRE팀, 장애 모의 훈련으로 서비스 안정성 UP!
by DD
1년 전
조회수 4
Hyperconnect SRE팀은 실제 장애를 대비하기 위해 장애 모의 훈련을 실시함
Elasticache, API 서버 등 핵심 컴포넌트 대상, 다양한 장애 시나리오를 설계 및 훈련
훈련 결과, 장애 대응 프로세스 개선 및 SRE팀 역량 강화의 계기 마련
장애 시나리오 설계의 핵심
장애 시나리오 설계 시, 단일 장애점(SPOF)을 파악하고 실제 발생 가능성을 고려했다. 구체적으로 Elasticache 네트워크 장애와 매칭 알고리즘 설정 오류 등 다양한 시나리오를 구성했다. 따라서, 장애 원인 분석과 대응 전략 수립에 초점을 맞췄다.
훈련 환경 구축과 트래픽 부하
Stage 환경을 활용하여 실제 서비스와 유사한 환경을 구축했다. K6 스크립트를 통해 실제 트래픽을 모사하고, Kafka 클러스터를 분리하여 모니터링 환경을 개선했다. 반면, 모니터링 지표와 대시보드를 실제 환경과 유사하게 구성하여 문제 해결 능력을 향상시켰다.
장애 대응 훈련의 교훈
훈련 결과, 근본 원인 파악보다 장애 완화에 집중하는 것이 중요함을 깨달았다. 구체적으로, SRE팀은 전체 상황을 조망하고, Azar팀은 문제 발생 시 적극적인 에스컬레이션을 수행해야 한다. 따라서, 장애 대응 가이드라인을 강화하고, 팀 간 소통을 개선해야 한다.
