[0805]모두에게 전하는 모두연 AI뉴스!

• ICML 2024 최우수 논문: Genie, 인터랙티브 환경 생성의 혁신

ICML 2024 베스트 페이퍼를 소개합니다. 이 논문은 텍스트, 이미지, 사진, 심지어 스케치를 통해 묘사된 액션 제어 가능한 가상 세계를 생성할 수 있는 최초의 생성형 인터랙티브 환경인 Genie를 소개합니다. 인터넷 동영상에서 레이블이 없는 대규모 데이터 세트로 학습된 Genie는 텍스트 프롬프트나 이미지에서 다양한 상호 작용 환경을 생성할 수 있습니다. 11B 매개변수 모델인 Genie는 새로운 이미지를 프롬프트로 사용하여 완전히 상상된 가상 세계를 만들고 플레이할 수 있는 기능을 갖추고 있습니다. 또한 인터넷 비디오에서 학습된 잠재적 행동을 사용하여 보이지 않는 비디오에서 행동을 모방하는 에이전트를 훈련할 수 있는 길을 열어줍니다.

https://arxiv.org/abs/2402.15391

• POA: 다양한 모델 크기를 위한 단일 사전 학습 프레임워크

이 논문에서는 다양한 크기의 모델을 한 번의 사전 학습으로 생성하는 자기 지도 학습 프레임워크인 POA (Pre-training Once for All)를 제안합니다. POA는 탄력적인 학생 브랜치를 통해 여러 크기의 하위 네트워크를 포함하며, 각 사전 학습 단계에서 원본 학생 네트워크에서 하위 네트워크를 랜덤하게 샘플링하여 탄력적인 학생을 형성하고 모든 브랜치를 자기 증류 방식으로 학습시킵니다. 사전 학습이 완료되면 POA는 다양한 크기의 사전 학습된 모델을 추출하여 다운스트림 작업에 활용할 수 있도록 합니다. 탄력적인 학생은 여러 크기의 모델을 동시에 사전 학습시킬 수 있을 뿐만 아니라 표현 학습을 강화하기 위한 앙상블 역할도 수행합니다. 다양한 실험 결과를 통해 POA의 효과성이 입증되었으며, ViT, Swin Transformer, ResNet 등 다양한 백본 구조에서 최첨단 성능을 달성했습니다.

https://arxiv.org/pdf/2408.01031

[마감임박!] AI 개발자 과정의 압도적인 수준 차이! 입문자에서 전공자까지! 아이펠 9기 : https://bit.ly/4ePP8iK