AI로 B2B 영상 제작? SK플래닛 AI Moment의 개발 비법 공개!

SK플래닛의 AI Moment는 GPT-4o와 Google TTS를 활용하여 기업 광고 영상을 생성하는 B2B 서비스이다.

Pydantic 모델과 PromptTemplate을 사용하여 GPT 응답의 비결정성 문제를 해결하고, Prefix Caching으로 속도와 비용을 최적화했다.

개발팀과 사업팀의 협업을 통해 AI 서비스의 품질을 높이고, 정성적/정량적 평가를 통해 지속적인 개선을 추구한다.

GPT 응답의 비결정성 극복

GPT는 다양한 형식으로 응답할 수 있지만, 서비스 코드에서 활용하기 위해서는 일관된 형식이 필수적이다. Pydantic 모델과 PromptTemplate의 `format_instructions` 기능을 활용하여 JSON 형식으로 응답을 유도했다. 따라서 데이터 파싱의 안정성을 확보하고, 서비스의 신뢰도를 높였다.

비동기 처리와 Prefix Caching을 통한 성능 개선

영상 생성 과정의 속도 지연 문제를 해결하기 위해 비동기 처리를 적용하고, OpenAI의 Prefix Caching 기능을 활용했다. 구체적으로, 동일한 프롬프트의 앞부분을 캐싱하여 지연 시간 80% 감소 및 비용 50% 절감 효과를 얻었다. 결과적으로 서비스의 사용자 경험을 향상시켰다.