Genie: Generative Interactive Environments
arXiv.org
[0805]모두에게 전하는 모두연 AI뉴스!
ICML 2024 최우수 논문: Genie, 인터랙티브 환경 생성의 혁신
ICML 2024 베스트 페이퍼를 소개합니다. 이 논문은 텍스트, 이미지, 사진, 심지어 스케치를 통해 묘사된 액션 제어 가능한 가상 세계를 생성할 수 있는 최초의 생성형 인터랙티브 환경인 Genie를 소개합니다. 인터넷 동영상에서 레이블이 없는 대규모 데이터 세트로 학습된 Genie는 텍스트 프롬프트나 이미지에서 다양한 상호 작용 환경을 생성할 수 있습니다. 11B 매개변수 모델인 Genie는 새로운 이미지를 프롬프트로 사용하여 완전히 상상된 가상 세계를 만들고 플레이할 수 있는 기능을 갖추고 있습니다. 또한 인터넷 비디오에서 학습된 잠재적 행동을 사용하여 보이지 않는 비디오에서 행동을 모방하는 에이전트를 훈련할 수 있는 길을 열어줍니다.
https://arxiv.org/abs/2402.15391
POA: 다양한 모델 크기를 위한 단일 사전 학습 프레임워크
이 논문에서는 다양한 크기의 모델을 한 번의 사전 학습으로 생성하는 자기 지도 학습 프레임워크인 POA (Pre-training Once for All)를 제안합니다. POA는 탄력적인 학생 브랜치를 통해 여러 크기의 하위 네트워크를 포함하며, 각 사전 학습 단계에서 원본 학생 네트워크에서 하위 네트워크를 랜덤하게 샘플링하여 탄력적인 학생을 형성하고 모든 브랜치를 자기 증류 방식으로 학습시킵니다. 사전 학습이 완료되면 POA는 다양한 크기의 사전 학습된 모델을 추출하여 다운스트림 작업에 활용할 수 있도록 합니다. 탄력적인 학생은 여러 크기의 모델을 동시에 사전 학습시킬 수 있을 뿐만 아니라 표현 학습을 강화하기 위한 앙상블 역할도 수행합니다. 다양한 실험 결과를 통해 POA의 효과성이 입증되었으며, ViT, Swin Transformer, ResNet 등 다양한 백본 구조에서 최첨단 성능을 달성했습니다.
https://arxiv.org/pdf/2408.01031
[마감임박!] AI 개발자 과정의 압도적인 수준 차이! 입문자에서 전공자까지! 아이펠 9기 : https://bit.ly/4ePP8iK
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 8월 5일 오전 5:55
댓글 0
함께 읽은 게시물
퍼스널 브랜딩의 불편한 진실
회사에서 개인의 브랜드를 만든다는 것은 누군가를 불편하게 하는 행위이다.
이게 무슨 말일까?
"배포했으면 스펙이지"
어떤 서비스가 버그를 가진채로 출시되었고, 사용자들이 그 버그를 전제로 기능을 사용하고 있다면, 그리고 그 위로 너무 많은 새로운 기능들이 쌓여있다면 그건 버그가 아니라 스펙(기능)이라는, 언젠가부터 들었던 업계의 유명한 블랙 유머다.
... 더 보기
AI 시대, 데이터 분석에 대해 새롭게 정의해야 하는 이유
AI 시대를 맞이하면서 우리는 다양한
... 더 보기
