디스코드(Discord) 음성 통화 장애, 그 숨겨진 이야기
by DD
2개월 전
조회수 6
디스코드(Discord)의 세션 관리 서버(Session Management Server) 설정 변경으로 인해 음성 및 영상 통화 장애 발생
Kubernetes 마이그레이션(Kubernetes Migration) 과정에서 세션의 17%가 예기치 않게 종료되면서 연쇄적인 문제 발생
Elixir GenServer 프로세스(Elixir GenServer Process)의 단일 스레드 특성으로 인해 HTTP 연결 풀(HTTP Connection Pool)에서 병목 현상 발생
장애 해결 과정(Incident Resolution)에서 레이트 리미팅(Rate Limiting) 및 서버 용량 증설을 통해 문제 해결 시도
세션 관리 서버(Session Management Server) 장애와 파급 효과
사고의 시작은 세션 관리 서버(Session Management Server)의 설정 변경으로, 이로 인해 세션의 17%가 동시 종료되었다. 기술적으로 보면, Kubernetes가 pod를 종료하는 과정에서 graceful shutdown(우아한 종료)을 위한 안전 장치가 제대로 작동하지 않아, 세션 데이터가 유실되었다. 이로 인해 다수의 사용자가 재접속을 시도하면서 게이트웨이 서비스(Gateway Service)에 과부하가 걸렸고, 이는 다시 음성 동기화 서비스(Voice Syncers Service)의 병목 현상으로 이어졌다. 특히, us-east1-b 존에서 발생한 문제는 다른 존으로의 장애 전파(Failure Propagation)를 가속화했다.
