• **LLM 추론 엔진 기반 AI 서빙 플랫폼** 설계 및 최적화 담당 • **GPU 클러스터** 환경에서 추론 성능 향상 및 **MLOps/LLMOps** 역할 수행 • **Kubernetes 기반 LLM 서빙 인프라** 구축, 운영 및 자동화

주요 업무

LLM 추론 엔진 기반 AI 서빙 플랫폼 설계 및 최적화

vLLM, TensorRT-LLM 등 오픈소스 추론 엔진 도입, 적용 및 운영

LLM 추론 성능 향상을 위한 캐시, 배칭, 양자화, 커널 최적화 등 기법 적용

분산 추론 전략 설계 및 구현

Kubernetes 기반 LLM 서빙 인프라 구축, 운영 및 자동화

자격 요건

Python 또는 Go를 활용한 시스템/백엔드/ML 시스템 개발 경력 5년 이상

Transformer 아키텍처 및 LLM 동작 원리에 대한 깊은 이해

vLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상 운영 경험

GPU 환경에서의 성능 프로파일링 및 최적화 경험

Kubernetes(K8s)에 대한 높은 이해도

클라우드 환경에서의 CI/CD 경험

우대 사항

LLM/ML 오픈소스 프로젝트 기여 경험

CUDA / Triton 커널 작성 또는 튜닝 경험

LLM 추론 가속 기법 실무 적용 경험

모델 양자화 / 압축 실무 경험

대규모 분산 추론 설계·운영 경험

다양한 서빙 플랫폼 구축 경험

대규모 GPU 클러스터 환경 운영 경험

고성능 네트워킹 또는 네트워크 트러블 슈팅 경험

LLM 추론 성능 관련 논문 구현/재현 경험

AI Platform 추론 최적화 Engineer

네 줄 요약