📝 음성으로 전신 동작(영상)을 생성하는 메타의 AI, Audio to Photoreal 최근 메타의 AI 발표들은 정말로 메타버스에 진심이라는 것을 보여주고 있는데요. 이번에 발표한 Audio

📝 음성으로 전신 동작(영상)을 생성하는 메타의 AI, Audio to Photoreal 최근 메타의 AI 발표들은 정말로 메타버스에 진심이라는 것을 보여주고 있는데요. 이번에 발표한 Audio to Photoreal 은 그 연구들의 끝판왕이라고 할 수 있을 것 같습니다. 이 기술은 말 그대로 음성을 입력하면, 그 음성에 맞춰 비웃음이나 미소같은 얼굴 표정은 물론 손짓과 몸짓까지 실사에 가까운 영상으로 생성하는 기술입니다. 오픈소스의 명가답게 코드도 공개하였고, 쉽게 실험헤 볼 수 있게 Colab 노트도 공개하였습니다. 👍 이 기술 자체만으로도 많은 응용이 머릿속에 떠오르는데요. 여기에 LLM까지 붙이면 정말 대단한 파급력이 있을 것 같습니다. 당장 게임만 생각해봐도..! 메타버스가 생성형 AI의 부상과 함께, 그리고 애플의 Vision Pro와 함께 다시 부상하고 있는데요. 과연 이번엔 메인 스트림까지 올라올 수 있을지, 다시 한 번 기대해봅니다. 😎🍿🥤 프로젝트 페이지 👉 https://people.eecs.berkeley.edu/~evonne_ng/projects/audio2photoreal/