OpenAI, WebRTC 기반 저지연 음성 AI 구현 비법 공개

OpenAI는 WebRTC(Web Real-Time Communication)를 기반으로 음성 AI 시스템을 구축했으며, 특히 트랜시버(Transceiver) 모델을 채택하여 WebRTC 세션 관리와 백엔드 서비스 간의 연결을 최적화했다. 트랜시버는 WebRTC 연결을 종단하고, ICE(Interactive Connectivity Establishment) 연결 확인, DTLS(Datagram Transport Layer Security) 핸드셰이크, SRTP(Secure Real-time Transport Protocol) 암호화 키 관리, 그리고 세션 라이프사이클을 담당한다. 이러한 아키텍처는 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 각 백엔드 서비스의 확장성을 향상시키는 데 기여한다.

OpenAI는 글로벌 릴레이(Global Relay) 아키텍처를 통해 전 세계 사용자에게 낮은 지연 시간을 제공한다. 릴레이는 가벼운 UDP 포워딩 계층으로, WebRTC 트래픽을 적절한 트랜시버로 라우팅한다. 특히, ICE ufrag를 활용하여 첫 번째 패킷 라우팅을 결정적으로 처리하며, 이를 통해 사용자는 전 세계 어디에서든 안정적인 연결을 경험할 수 있다. 이러한 접근 방식은 지리적 근접성(Geographic Proximity)을 활용하여 지연 시간을 최소화하고, 사용자 경험을 향상시킨다.

OpenAI는 성능 최적화를 위해 다양한 기술적 트레이드오프를 고려했다. 예를 들어, SO_REUSEPORT 옵션을 사용하여 여러 릴레이 워커가 동일한 UDP 포트에 바인딩되도록 하여, 단일 읽기 루프 병목 현상을 방지했다. 또한, runtime.LockOSThread를 통해 각 UDP 읽기 고루틴을 특정 OS 스레드에 고정시켜 캐시 지역성을 개선했다. 하지만, 이러한 최적화에도 불구하고, WebRTC의 복잡성으로 인해 발생하는 문제점은 여전히 존재하며, 이는 libwebrtc의 기능 플래그 활용 및 네트워크 트래버설(Network Traversal) 솔루션의 필요성을 제기한다.

커뮤니티에서는 OpenAI의 음성 AI가 대화의 자연스러움을 저해한다는 비판이 제기되었다. 특히, 사용자의 짧은 멈춤을 AI가 대화 종료로 인식하여 부자연스러운 응답을 생성하는 문제가 지적되었다. 또한, 4o 모델의 성능 한계와 AI 환각(Hallucination) 문제에 대한 우려도 제기되었다. 이러한 문제들은 음성 AI의 사용자 경험(User Experience)을 저해하는 요소로 작용하며, 기술적 개선과 더불어 모델의 성능 향상이 필요함을 시사한다.

OpenAI는 WebRTC 생태계를 적극적으로 활용하여 음성 AI 시스템을 구축했다. Pion과 같은 오픈 소스 라이브러리를 활용하고, WebRTC 표준을 준수함으로써 상호 운용성을 확보했다. 하지만, RFC 9297 지원 부족과 같은 기술적 과제는 여전히 존재하며, 이는 WebRTC 기술의 지속적인 발전을 요구한다. 또한, 데이터 미저장 정책(Zero-Retention Policy)과 같은 보안 및 개인 정보 보호에 대한 고려도 중요하며, 이는 향후 음성 AI 기술의 발전 방향을 제시한다.