Cloud Run, CPU 스로틀링 설정 하나로 성능 문제 해결!
by DD
2개월 전
조회수 6
Oblique는 Cloud Run 기반 백엔드에서 데이터베이스 쿼리 성능 저하(Database Query Performance) 문제를 겪음
오픈텔레메트리(OpenTelemetry)를 활용한 추적 시스템 구축, 데이터베이스 쿼리 분석 등 2개월간의 디버깅 끝에 해결책을 찾음
문제의 원인은 Cloud Run의 CPU 스로틀링(CPU Throttling) 설정이었으며, 한 줄의 YAML 설정을 통해 해결
CPU 스로틀링 설정은 HTTP 요청이 없는 경우 CPU를 제한하여 백그라운드 작업의 성능을 저하시킴
Cloud Run CPU 스로틀링(CPU Throttling)의 함정
Oblique는 Cloud Run 환경에서 백그라운드 작업의 성능 저하 문제를 겪었으며, 그 원인이 CPU 스로틀링(CPU Throttling) 설정에 있음을 발견했다. 특히, HTTP 요청이 없는 경우 Cloud Run이 CPU를 제한하여 백그라운드 작업의 성능을 저하시킨다는 점을 간과했다. 이 문제는 인스턴스 기반 과금(Instance-based Billing) 설정을 통해 해결되었으며, 항상 전체 CPU를 사용할 수 있도록 함으로써 백그라운드 작업의 성능을 향상시켰다.
오픈텔레메트리(OpenTelemetry)를 활용한 디버깅 과정
Oblique는 성능 저하 문제 해결을 위해 오픈텔레메트리(OpenTelemetry)를 활용하여 추적 시스템을 구축했다. 이를 통해 스팬(Span) 메타데이터(Metadata)를 풍부하게 하고, 로컬에서 추적 데이터를 수집하여 분석했다. 특히, pgx 드라이버의 pool.Acquire 호출 시간을 추적하여 병목 지점을 파악하고, 개별 쿼리의 실행 시간을 측정하여 문제의 원인을 분석했다. 이러한 과정을 통해 데이터베이스 쿼리 자체의 문제가 아닌, Cloud Run 환경의 CPU 스로틀링이 문제의 원인임을 밝혀냈다.
