From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations
berkeley.edu
์ต๊ทผ ๋ฉํ์ AI ๋ฐํ๋ค์ ์ ๋ง๋ก ๋ฉํ๋ฒ์ค์ ์ง์ฌ์ด๋ผ๋ ๊ฒ์ ๋ณด์ฌ์ฃผ๊ณ ์๋๋ฐ์. ์ด๋ฒ์ ๋ฐํํ Audio to Photoreal ์ ๊ทธ ์ฐ๊ตฌ๋ค์ ๋ํ์์ด๋ผ๊ณ ํ ์ ์์ ๊ฒ ๊ฐ์ต๋๋ค.
์ด ๊ธฐ์ ์ ๋ง ๊ทธ๋๋ก ์์ฑ์ ์ ๋ ฅํ๋ฉด, ๊ทธ ์์ฑ์ ๋ง์ถฐ ๋น์์์ด๋ ๋ฏธ์๊ฐ์ ์ผ๊ตด ํ์ ์ ๋ฌผ๋ก ์์ง๊ณผ ๋ชธ์ง๊น์ง ์ค์ฌ์ ๊ฐ๊น์ด ์์์ผ๋ก ์์ฑํ๋ ๊ธฐ์ ์ ๋๋ค.
์คํ์์ค์ ๋ช ๊ฐ๋ต๊ฒ ์ฝ๋๋ ๊ณต๊ฐํ์๊ณ , ์ฝ๊ฒ ์คํํค ๋ณผ ์ ์๊ฒ Colab ๋ ธํธ๋ ๊ณต๊ฐํ์์ต๋๋ค. ๐
์ด ๊ธฐ์ ์์ฒด๋ง์ผ๋ก๋ ๋ง์ ์์ฉ์ด ๋จธ๋ฆฟ์์ ๋ ์ค๋ฅด๋๋ฐ์. ์ฌ๊ธฐ์ LLM๊น์ง ๋ถ์ด๋ฉด ์ ๋ง ๋๋จํ ํ๊ธ๋ ฅ์ด ์์ ๊ฒ ๊ฐ์ต๋๋ค. ๋น์ฅ ๊ฒ์๋ง ์๊ฐํด๋ด๋..!
๋ฉํ๋ฒ์ค๊ฐ ์์ฑํ AI์ ๋ถ์๊ณผ ํจ๊ป, ๊ทธ๋ฆฌ๊ณ ์ ํ์ Vision Pro์ ํจ๊ป ๋ค์ ๋ถ์ํ๊ณ ์๋๋ฐ์. ๊ณผ์ฐ ์ด๋ฒ์ ๋ฉ์ธ ์คํธ๋ฆผ๊น์ง ์ฌ๋ผ์ฌ ์ ์์์ง, ๋ค์ ํ ๋ฒ ๊ธฐ๋ํด๋ด ๋๋ค. ๐๐ฟ๐ฅค
ํ๋ก์ ํธ ํ์ด์ง ๐ https://people.eecs.berkeley.edu/~evonne_ng/projects/audio2photoreal/
๋ค์ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด?
์ด๋ฏธ ํ์์ด์ ๊ฐ์?
2024๋ 1์ 14์ผ ์คํ 3:20