Perplexity, Realtime API로 음성 검색을 구현한 비결

Perplexity는 음성 인터페이스를 통해 사용자 경험을 향상시키기 위해 Realtime-1.5 API를 도입

긴 형식의 콘텐츠(Long-form Content) 처리를 위해 컨텍스트 관리 전략(Context Management Strategy)을 수립하고, 2,000 토큰 단위로 분할하여 처리

다양한 플랫폼에서 일관된 오디오 품질을 위해 Rust 기반 SDK를 구축하여 오디오 표준화

음성 잠금(Voice Lock) 기능을 통해 사용자가 질문을 완료할 시간을 확보하고, 보다 자연스러운 대화 흐름을 제공

컨텍스트 관리(Context Management) 전략

본문에서는 긴 형식의 콘텐츠를 처리하기 위한 컨텍스트 관리 전략을 설명하며, 2,000 토큰(Token) 단위의 청크(Chunk)로 분할하여 전송하는 방식을 채택했다.

대용량 업데이트(Large Updates)는 실패 시 전체 컨텍스트를 손실시키므로, 점진적인 업데이트(Incremental Updates)를 통해 안정성을 확보

`conversation.item.create`를 사용하여 컨텍스트를 업데이트할 때, `item.type`을 적절히 설정하여 모델의 동작을 제어

시스템(System), 사용자(User), 어시스턴트(Assistant) 역할을 명확히 구분하여 모델이 페이지 내용과 사용자 질문을 정확하게 구분하도록 유도

결과적으로, 컨텍스트 볼륨(Context Volume)보다는 대화의 의미론(Conversation Semantics)을 정확하게 관리하는 것이 중요함을 강조한다.

오디오 표준화(Audio Standardization)를 위한 Rust SDK

Perplexity는 다양한 플랫폼에서 음성 검색 기능을 제공하기 위해 Rust 기반 SDK를 구축하여 오디오를 표준화했다.

플랫폼별 오디오 형식의 차이(Platform-Specific Differences)를 추상화하고, 모든 클라이언트가 동일한 오디오 계약(Audio Contract)을 준수하도록 함

48kHz 모노(Mono) 샘플링, Opus 코덱(Opus Codec) 선호도 설정, WebRTC APM(WebRTC APM)을 통한 에코 제거(Echo Cancellation), 자동 게인 제어(Automatic Gain Control), 노이즈 감소(Noise Reduction), 하이패스 필터링(High-Pass Filtering) 적용

오디오 상수(Audio Constants) 설정, 리샘플링(Resampling), 전체 처리 파이프라인(Processing Pipeline)을 한 곳에서 관리

이러한 과정을 통해 일관된 오디오 품질(Consistent Audio Quality)을 유지하고, 플랫폼 간의 차이로 인한 문제를 해결했다.