CloudWatch, OpenTelemetry & PromQL 지원으로 관측 가능성 통합

by DD
1시간 전
조회수 6

기존 AWS 지표와 Prometheus 호환 백엔드를 분리 운영하던 복잡성을 해소하기 위해 CloudWatch의 단일화된 지표 수집을 목표함

OpenTelemetry 지표 네이티브 수집PromQL 쿼리 지원을 통해 높은 카디널리티 지표를 직접 CloudWatch로 전송 가능

자동 AWS 리소스 보강 기능으로 계정, 리전, 클러스터 등 컨텍스트 정보를 추가하여 통합된 지표 뷰(Unified Metric View) 제공

텔레메트리 파이프라인(Telemetry Pipelines)교차 계정 중앙 집중화 기능으로 중앙 관측 가능성 아키텍처 구현 지원

CloudWatch의 높은 카디널리티 지표 저장소 도입 배경

기존 CloudWatch 사용자 지정 지표는 최대 30개 차원 제한으로 인해 Kubernetes 및 마이크로서비스 환경에서 발생하는 고유한 레이블 조합을 처리하기 어려웠다. 이번 업데이트는 지표당 최대 150개 레이블을 지원하는 새로운 저장소를 도입하여, 데이터 변환이나 잘림 없이 풍부한 컨텍스트 정보를 포함한 지표를 직접 수집할 수 있게 한다. 이는 카디널리티가 높은(High-Cardinality) 워크로드의 핵심 제약 사항을 해소하고, Prometheus와 같은 외부 시스템으로 지표를 내보낼 필요성을 줄여 운영 부담을 완화한다. 확장된 레이블 지원은 필터링 및 집계의 유연성을 크게 향상시킨다.

PromQL 지원을 통한 쿼리 언어 통합

Amazon CloudWatch는 이제 OpenTelemetry Protocol(OTLP)로 수집된 지표에 대해 Prometheus Query Language(PromQL)를 네이티브로 지원한다. 이는 기존 Prometheus 사용자에게 새로운 쿼리 언어 학습 부담 없이 동일한 쿼리를 CloudWatch 및 Amazon Managed Grafana에서 사용할 수 있게 한다. SigV4 인증을 통한 CloudWatch PromQL 엔드포인트 구성은 AWS 환경에서의 보안 및 통합을 강화하며, Bearer 토큰 인증 옵션은 외부 환경에서의 유연한 연동을 지원한다. 이 통합은 단일 쿼리 인터페이스를 통해 인프라, 컨테이너, 애플리케이션 지표를 모두 탐색할 수 있게 하여 관측 가능성 워크플로우를 간소화한다.

자동 AWS 리소스 보강 기능의 이점

CloudWatch의 자동 AWS 리소스 보강 기능은 수집되는 모든 지표에 계정 ID, 리전, 클러스터 ARN, 리소스 태그 등 AWS 컨텍스트 정보를 자동으로 추가한다. 이는 별도의 사용자 지정 계측이나 exporter 없이도 지표를 AWS 리소스 경계 전반에 걸쳐 필터링하고 그룹화할 수 있게 한다. 예를 들어, `@aws.tag.Environment=production`과 같은 태그를 사용하여 특정 환경의 지표를 쉽게 식별할 수 있다. 이 기능은 데이터 격리 아키텍처(Data Isolation Architecture)를 사용하는 환경에서도 각 리소스의 컨텍스트를 명확히 하여 문제 해결 및 성능 분석을 용이하게 한다. 가시성(Visibility) 확보 측면에서 매우 중요한 개선점이다.

텔레메트리 파이프라인 및 교차 계정 중앙 집중화

정식 출시된 텔레메트리 파이프라인(Telemetry Pipelines) 기능은 지표를 저장하기 전에 서버 측에서 라우팅, 필터링, 변환할 수 있는 강력한 기능을 제공한다. 이는 여러 AWS 계정에서 발생하는 OTLP 지표를 단일 모니터링 계정으로 집계하는 교차 계정 중앙 집중화 아키텍처 구현을 지원한다. 이러한 중앙 집중식 관측 가능성(Observability) 아키텍처는 운영 복잡성을 줄이고 전사적인 시스템 상태에 대한 통합된 뷰를 제공하는 데 필수적이다. 또한, GPU 및 EFA 모니터링을 지원하는 EKS Container Insights는 NVIDIA DCGM, AWS Neuron Monitor 지표를 기본 제공하여 고성능 컴퓨팅 환경의 가시성을 높인다.

OpenTelemetry 지원을 통한 관측 가능성 통합

이번 CloudWatch의 OpenTelemetry 네이티브 지표 수집 지원은 이미 제공되던 트레이스 및 로그 수집 기능과 함께, 관측 가능성의 세 가지 기둥(지표, 트레이스, 로그) 전반에 걸쳐 완전한 OpenTelemetry 지원을 완성했다. OTLP라는 단일 개방형 표준 프로토콜을 통해 모든 텔레메트리 데이터를 CloudWatch로 전송할 수 있게 되었다. 이는 다양한 텔레메트리 소스를 통합하고, 데이터 사일로(Data Silo)를 제거하며, 분석 및 문제 해결 프로세스를 간소화하는 데 크게 기여한다. 결과적으로 개발팀은 데이터 미저장 정책(Zero-Retention Policy)을 준수하면서도 풍부한 컨텍스트 정보를 활용하여 시스템을 더 깊이 이해할 수 있다.

Amazon CloudWatch에서 OpenTelemetry 및 PromQL 지원 소개