레거시 GPU, SPLADE 모델 서빙 최적화
by DD
10개월 전
조회수 4
BERT 기반 SPLADE 모델의 대규모 실시간 서비스 최적화 방법 소개
FlashTokenizer 구현체를 통해 토크나이저 속도를 획기적으로 개선
GPU 환경에서 모델 추론 및 전/후처리 최적화 기법 제시
FlashTokenizer: 토크나이저 성능 혁신
FlashTokenizer는 BERT 모델의 성능 향상을 위한 핵심 요소이다. 구체적으로 토크나이징 속도를 대폭 개선하여 GPU 활용률을 높인다. 따라서 전처리 단계 병목 현상을 해결하고, 전반적인 추론 속도 향상을 이끌어낸다.
모델 경량화 및 최적화 기법
모델 경량화는 GPU 메모리 사용량 감소를 위한 필수 과정이다. 모델 Simplify를 통해 파라미터 수를 줄이고, Inference Optimization 기법을 적용한다. 반면, 과도한 경량화는 모델 정확도 저하를 야기할 수 있으므로, Trade-off 분석이 중요하다.
실시간 서빙 환경 구축
실시간 서빙 환경 구축은 Postprocess 및 Preprocess Optimization을 포함한다. Zero-Copy 기술을 활용하여 데이터 전송 오버헤드를 줄이고, 병렬 처리를 통해 처리량(Throughput)을 극대화한다. 따라서 P99 응답 시간 단축을 달성한다.
