[1108]모두에게 전하는 모두연 AI뉴스!

• 하나의 동영상으로 여러 각도 촬영 가능한 'ReCapture' 기술

구글과 싱가포르 국립대 공동 연구진이 단일 영상만으로도 다양한 각도의 새로운 영상을 만들어내는 혁신적인 AI 기술을 소개하였습니다. 'ReCapture'로 명명된 이 기술은 스마트폰으로 촬영한 일반 동영상도 마치 여러 대의 카메라로 촬영한 것처럼 변환할 수 있습니다. 특히 이 기술은 원본 영상에서 보이지 않았던 부분까지도 자연스럽게 생성해내며, 영화적인 카메라 움직임까지 구현할 수 있습니다. ReCapture는 두 단계로 작동합니다. MultiView diffusion model, depth-based point cloud rendering 을 활용해 새로운 각도의 초기 영상을 생성한 후에, masked video fine-tuning 기술로 자연스러운 최종 영상을 완성합니다. ReCapture는 서로 매우 다른 종류의 영상과 장면들에도 놀라울 만큼 잘 적용되며, 대부분의 경우 복잡한 장면의 움직임, 피사체의 동작, 그리고 세세한 장면 디테일까지 완벽하게 재현해냅니다.

https://generative-video-camera-controls.github.io/

• 단일 이미지를 3D/4D 장면으로, DimensionX

홍콩과기대와 청화대 공동 연구진이 video diffusion을 통해 단일 이미지만으로도 사실적인 3D 및 4D 장면을 생성할 수 있는 프레임워크인 DimensionX를 소개하였습니다. 최근의 Video diffusion 모델들이 생생한 시각적 효과를 만들어내는 데 주목할 만한 성공을 보여왔지만, 생성 과정에서 공간적, 시간적 제어가 제한적이어서 3D/4D 장면을 직접 복원하는 데 한계가 있었습니다. 이를 극복하기 위해, 연구진들은 차원 변형 데이터로부터 차원 인식 LoRA를 학습함으로써 비디오 확산에서 공간적 요소와 시간적 요소를 분리하는 ST-Director를 소개하였습니다. 제어 가능한 video diffusion 접근 방식은 공간 구조와 시간 동역학의 정밀한 조작을 가능하게 하여, 공간 및 시간 차원의 조합으로 연속된 프레임에서 3D와 4D 표현 모두를 재구성할 수 있습니다. 또한 연구자들은 생성된 비디오와 실제 장면 간의 간극을 좁히기 위해 3D 생성을 위한 궤적 인식 메커니즘과 4D 생성을 위한 정체성 보존 노이즈 제거 전략을 도입하였습니다.

https://chenshuo20.github.io/DimensionX/

[아이펠 11기] AI 입문부터 활용까지! AI개발자 과정!
AI학교 아이펠 11기 모집 중: https://bit.ly/aiffel_online_11th