AI로 펠레의 전설적인 골을 되살리다!
1959년 펠레의 전설적인 '자바리 거리의 골'은 영상 기록이 없어 60년 이상 팬들의 기억 속에만 존재함
구글 딥마인드(Google DeepMind)의 AI 기술(AI Technology)과 실제 촬영 영상을 결합하여 역사적 순간을 디지털로 복원(Digital Reconstruction)함
제미니(Gemini)와 Veo 모델을 활용해 펠레의 모습, 경기장 환경, 당시 분위기를 포토리얼리즘(Photorealism)으로 재현함
AI 기반 영상 생성의 핵심 기술: Veo와 Gemini Omni
본 프로젝트는 구글 딥마인드(Google DeepMind)의 Veo 모델과 Gemini Omni를 활용하여 영상 생성의 새로운 가능성을 제시함.
Veo: 정밀한 3D 기하학(3D Geometry) 및 모션 추출을 통해 실제 스턴트 플레이어의 움직임을 기반으로 영상 생성 제어력을 높임. 이는 펠레와 같은 전설적인 선수의 복잡한 운동 능력을 재현하는 데 필수적임.
Gemini Omni: 다중 모달(Multimodal) 분석 능력을 활용하여 아카이브 이미지, 경기장 건축 양식, 당시 날씨 등 다양한 데이터를 종합적으로 이해하고 이를 영상 생성에 반영함.
이러한 모델들의 결합은 포토리얼리즘(Photorealism)과 제어 가능성(Controllability) 사이의 균형을 맞추는 데 기여함.
실사 촬영과 AI 생성 영상의 하이브리드 파이프라인
역사적 정확성을 높이기 위해 실제 촬영 영상과 AI 생성 기술을 결합한 하이브리드 포스트 프로덕션 파이프라인(Hybrid Post-Production Pipeline)을 구축함.
실사 기반(Live-Action Foundation): 현대 스턴트 플레이어와 당시 복장을 활용한 실제 영상 촬영으로 물리적 기반을 마련함. 이는 AI 모델이 참조할 정확한 움직임과 외형 정보를 제공함.
AI 기반 변환(AI-Driven Transformation): 촬영된 영상을 Veo, Gemini Omni, Nano Banana Pro 모델에 입력하여 캐릭터 재매핑, 환경 재스타일링, 당시 분위기 생성 등을 수행함.
전통 VFX 통합(Traditional VFX Integration): AI 생성 결과물에 공, 색 보정, 필름 그레인(Film Grain) 통합 등 전통적인 시각 효과(VFX) 작업을 추가하여 완성도를 높임. 특히 1950년대 영화의 질감을 재현하기 위해 필름아웃(Filmout) 머신을 사용함.
퍼포먼스 컨트롤(Performance Control)을 통한 운동 능력 재현
펠레의 독보적인 운동 능력을 재현하기 위해 퍼포먼스 컨트롤(Performance Control)이라는 접근 방식을 사용함. 이는 Veo 3 모델을 기반으로 함.
정밀한 3D 모션 캡처(Precise 3D Motion Capture): 현대 스턴트 플레이어의 움직임을 상세한 3D 기하학 정보와 모션 데이터로 추출함. 이 데이터는 펠레의 역동적인 플레이를 정확하게 모방하는 데 사용됨.
독립적인 레이어 편집(Independent Layer Editing): 원본 영상에서 선수, 배경 등을 분리하여 각 요소를 독립적으로 수정하고 제어할 수 있게 함. 이를 통해 선수의 움직임과 경기장 환경을 개별적으로 조정하여 최적의 결과물을 생성함.
이 방식은 생성 모델의 사실성과 제어 능력 사이의 간극을 메우는 데 중요한 역할을 함.
역사적 정확성을 위한 아카이브 데이터 활용
AI 생성 장면의 역사적 정확성(Historical Accuracy)을 보장하기 위해 방대한 아카이브 데이터를 적극적으로 활용함.
2,000개 이상의 역사 기록 수집: 청사진, 가족 앨범, 당시 경기장 사진, 다이어그램 등 다양한 자료를 수집하여 당시의 환경과 상황을 재구성하는 데 사용함.
3,600개 이상의 역사적 이미지 활용: 펠레의 모습, 당시 복장(특히 클래식 10번 유니폼), 1959년 펠레의 축구화 등 세부적인 디테일을 복원하는 데 기준점으로 삼음.
커뮤니티 인터뷰: 목격자, 지역 주민, 스포츠 언론인 등과의 인터뷰를 통해 기억에 의존한 재구성을 보완함.
이러한 노력은 AI가 생성한 결과물이 단순한 시각적 재현을 넘어 시대적 사실성을 갖추도록 하는 데 기여함.
