AI와 애니메이션의 만남, 'Dear Upstairs Neighbors' 제작 비하인드 스토리
'Dear Upstairs Neighbors'는 선댄스 영화제에서 공개되었으며, 애니메이터와 Google DeepMind 연구진의 협업으로 제작됨
AI 모델을 커스텀 아트워크로 미세 조정하여 독창적인 비주얼 스타일을 구현하고, 비디오-투-비디오(Video-to-video) 워크플로우를 통해 애니메이션의 움직임과 코믹 타이밍을 제어함
로컬화된 개선 도구(Localized Refinement Tools)를 활용하여 특정 비디오 영역을 편집하고, Veo의 업스케일링(Upscaling)으로 4K 해상도를 구현하여 세부 묘사 및 예술적 스타일을 유지함
Google AI Studio 및 Vertex AI에 새로운 툴이 출시될 예정이며, 생성형 AI(Generative AI)를 활용한 애니메이션 제작의 새로운 가능성을 제시함
비디오-투-비디오(Video-to-video) 워크플로우의 혁신
본문에 따르면, 'Dear Upstairs Neighbors' 제작팀은 비디오-투-비디오(Video-to-video) 워크플로우를 통해 애니메이터가 AI 모델에 시각적인 가이드를 제공하여 창의적인 통제력을 유지했다.
텍스트 프롬프트(Text Prompt)만으로는 표현하기 어려운 미세한 움직임과 타이밍을 애니메이터가 직접 제어
애니메이터가 자신만의 도구로 러프 애니메이션을 제작하고, AI 모델이 이를 기반으로 스타일화된 비디오를 생성
AI 모델의 예측 불가능성(Unpredictability)을 보완하고, 애니메이터의 창의적 의도(Creative Intention)를 정확하게 전달
결과적으로, AI의 생성 능력(Generative Capability)과 애니메이터의 예술적 감각(Artistic Sense)을 결합하여 독창적인 애니메이션을 제작했다.
AI 모델 미세 조정(Fine-tuning)을 통한 스타일 일관성 확보
글에 따르면, 제작팀은 Veo 및 Imagen 모델을 커스텀 아트워크로 미세 조정하여 각 장면의 독특한 시각적 스타일을 구현했다.
미세 조정(Fine-tuning)을 통해 AI 모델이 소수의 예시 이미지로부터 새로운 시각적 개념을 학습
Ada 캐릭터 디자인과 페인터리 스타일(Painterly Styles)의 일관성을 유지하며, 고품질의 결과물을 얻음
AI 모델의 학습 데이터(Training Data)를 애니메이션 제작에 맞게 최적화하여, 제작팀의 구체적인 디자인 선택(Specific Design Choices)을 반영
결과적으로, AI 모델의 일반적인 한계(General Limitations)를 극복하고, 애니메이션의 예술적 비전(Artistic Vision)을 실현했다.
로컬화된 개선 도구(Localized Refinement Tools)의 역할
본문에서는 로컬화된 개선 도구를 통해 특정 비디오 영역을 편집하고, 반복적인 피드백을 통해 세부 사항을 개선했다고 설명한다.
'Dailies' 리뷰를 통해 각 샷을 평가하고, 여러 번의 피드백 라운드를 거쳐 세부 사항을 수정
Veo의 이미지-투-비디오(Image-to-video) 기능을 활용하여, 컨셉 페인팅을 생동감 있는 영상으로 변환
4K 업스케일링(Upscaling)을 통해 최종 샷의 해상도를 높이고, 예술적 스타일의 세밀한 묘사(Rich Detail)를 유지
결과적으로, AI 모델의 생성 결과(Generated Result)를 완벽에 가깝게 다듬고, 애니메이션의 시각적 완성도(Visual Completeness)를 높였다.
생성형 AI(Generative AI) 기반 애니메이션 제작의 미래
글에 따르면, Google DeepMind 연구진은 애니메이션 제작에 생성형 AI를 활용하여 새로운 가능성을 제시했다.
Google AI Studio 및 Vertex AI에 새로운 툴 출시를 통해, 생성형 AI 기술의 접근성을 높임
애니메이터와 AI 연구진의 협업을 통해, AI의 창의적 잠재력(Creative Potential)을 극대화
AI 모델의 발전(AI Model Advancement)과 함께, 애니메이션 제작 방식의 혁신을 기대
결과적으로, 생성형 AI는 애니메이션 제작의 새로운 지평(New Horizon)을 열고, 예술가들에게 새로운 창작 도구(New Creative Tools)를 제공할 것이다.
