불과 얼마전 OpenAI가 Text to Video인 SORA로 전세계를 떠들썩였는데, 소리소문없이 구글이 생성형AI로 즉, 텍스트만 입력해서 게임을 만드는 Genie를 내놓았습니다. 아직은 소라나 지니가 짧은 영상이나 게임만 만들지만 향후 1시간 이상의 영상 제작이 가능해진다면 영상업계나 게임업계에 엄청난 파급 효과를 불러 일으킬 것으로 예상됩니다.

• 구글의 T2V 지니(Genie)

  • 구글 딥마인드가 내놓은 대화형 비디오 게임 생성 인공지능

  • 20만 시간의 무감독 공개 인터넷 게임 동영상으로 학습

  • 액션이나 텍스트 주석에 대해 학습하지 않았음에도 불구하고 기본 모델은 주인공이 누구인지 결정하고 사용자가 생성된 월드에서 해당 캐릭터를 제어

  • 잠재 액션 모델, 비디오 토큰화, 다이내믹스 모델

  • 현재 1FPS로만 게임을 제작하는 등 몇 가지 제한

  • 2D 플랫포머 게임과 로보틱스 동영상에 중점

• 주요 특징

  • 액션 레이블 없이 제어 학습

    • 이미지의 어느 부분을 제어해야 하는지에 관한 레이블이 없는 인터넷 동영상에서 세분화된 컨트롤 학습

    • 관찰의 어떤 부분을 일반적으로 제어할 수 있는지 학습할 뿐만 아니라 생성된 환경 전체에서 일관된 다양한 잠재 동작을 추론

  • 새로운 세대의 크리에이터 지원

    • 이미지 하나만 있으면 완전히 새로운 인터랙티브 환경 생성 가능

    • 최첨단 텍스트-이미지 생성 모델을 사용하여 시작 프레임 생성 > Genie로 생동감 있게 구현할 수 있는 등 가상 세계를 생성 > 가상 세계로 들어가는 다양하고 새로운 방법

    • Imagen2로 이미지를 생성하고 Genie를 사용하여 생동감 있게 구현

    • 스케치와 같이 사람이 직접 디자인한 창작물까지 생성

  • 제너럴리스트 에이전트를 위한 디딤돌

    • 미래의 AI 에이전트를 끊임없이 생성되는 새로운 세계로 구성된 커리큘럼에서 훈련 가능

    • Genie가 학습한 잠재적 동작이 실제 인간이 설계한 환경으로 옮겨질 수 있다는 개념 증명

  • 제너레이티브 가상 세계의 미래

    • 추가적인 도메인 지식 없이도 다양한 도메인에 적용 가능

    • 일관된 동작 공간을 학습

    • 인간이 설계한 시뮬레이터에서는 어려운 작업인 변형 가능한 객체를 시뮬레이션 가능

    • 이미지나 텍스트로 전체 인터랙티브 월드를 생성할 수 있는 시대 오픈

    • 미래의 제너럴리스트 AI 에이전트를 양성하는 촉매제

• 출처: 구글의 Genie - https://sites.google.com/view/genie-2024