Google Research에서 A Space-Time Diffusion Model for Video Generation인 Lumiere를 공개했습니다.

물리적 움직임을 현실적으로 표현하는 텍스트에서 비디오로 변환하는 Lumiere 모델의 특징을 정리해드립니다.

• 목표 : 현실적이고 다양하며 일관된 움직임을 가진 비디오 생성

• 아키텍처 : Space-Time U-Net 아키텍처 도입, 모델 단일 패스로 전체 비디오 시간을 생성

• 기존 모델과 차이: 기존 모델은 먼 키프레임 합성 후 시간적 초고해상도 적용, 일관성 어려워

• 공간과 시간 다운/업샘플링 활용 : 텍스트에서 이미지로 사전 훈련된 모델 사용하여 공간-시간 다양한 스케일에서 비디오 생성

• 결과 : 최첨단 텍스트에서 비디오 생성, 이미지-비디오, 비디오 인페인팅, 스타일화된 생성 등 다양한 콘텐츠 작업 및 비디오 편집에 용이함을 보여줌

https://lumiere-video.github.io/