Google에서 Dreamix라는 video 생성 연구를 공개

Google Research 에서 Dreamix라는 video 를 생성하는 연구를 공개하였습니다. 얼마 전에 구글에서는 Imagen video라는 놀라운 연구를 공개했었는데요, 같아 보이지만 약간 다른 연구입니다. Imagen video는 말 그대로 text-to-video, 즉 text를 넣어서 video를 만드는 것이었고, 이번 Dreamix는 (text, image) 나 (text, video) 등을 사용해 video manipulation하여 생성한다는 점이 차이점입니다. 이번 연구도 Diffusion model 기반입니다. 아직 코드나 모델은 공개되지 않았고, 논문과 데모 페이지만 공개되어 있습니다. 데모 페이지는 Anonymous로 되어 있는데, 논문을 보면 Google Research 연구라는 걸 알 수 있습니다. 데모는 좀 어색한 것도 있지만 그래도 꽤나 인상적인 결과를 보여주고 있습니다. 흥미로운 점은 구글의 연구라서 그런지 논문에서 일부 결과는 아직 코드나 모델이 공개 안된 Imagen video 를 baseline으로 활용하여 비교하기도 하네요. Imagen 계열 뿐 아니라 이것 또한 일반에 공개가 될 지.. 알수 없지만 여러 회사와 단체들이 이러한 Large scale diffusion model 을 만들어서 공개하려고 하고 있으니, 앞으로 많은 사용 사례가 나올 것 같습니다.

Dreamix: Video Diffusion Models are General Video Editors

Dreamix-video-editing

Dreamix: Video Diffusion Models are General Video Editors

다음 내용이 궁금하다면?

지금 간편 가입하고 다음 내용을 확인해 보세요!

또는

이미 회원이신가요?

2023년 2월 5일 오후 3:24

 • 

저장 10조회 11,003

댓글 0