Rust 기반의 Protocol Buffers, 제로 카피 기술로 RPC 성능 UP!
by DD
3개월 전
조회수 22
Anthropic에서 Rust 기반의 Protocol Buffers 구현체 buffa와 ConnectRPC 구현체 connect-rust를 오픈 소스화하여 RPC 생태계의 격차를 해소
buffa는 제로 카피(Zero-copy) 메시지 뷰를 지원하며, connect-rust는 Connect, gRPC, gRPC-Web을 단일 핸들러에서 지원하는 Tower 기반 구현체
제로 카피(Zero-copy) 기술을 통해 메모리 할당 비용(Allocation Cost) 감소 및 고성능을 달성했으며, 특히 로그 처리 시 33% 향상된 처리량(Throughput)을 보임
Conformance Suite 통과에도 불구하고, 보안 취약점(Security Vulnerability)이 발견되어, 테스트의 한계점을 보여줌
AI 기반 개발 방식을 통해 6주 만에 개발되었으며, 향후 Message extensions, Reflection, Textproto, protoyaml 등 기능 추가 예정
제로 카피(Zero-copy) 기술을 활용한 성능 개선
buffa는 Rust의 특징을 활용하여 제로 카피(Zero-copy) 메시지 뷰를 제공함으로써 메모리 할당 비용을 줄이고 성능을 향상시켰다. 기존 prost+tonic 방식에서 문자열(String) 및 바이트(Bytes) 필드 할당으로 인한 Allocator Pressure를 해결하기 위해, 입력 버퍼(Input Buffer)에서 직접 데이터를 참조하는 방식을 사용한다.
MyMessageView: 입력 버퍼를 직접 참조하여 할당 비용(Allocation Cost) 절감
