[1007]모두에게 전하는 모두연 AI뉴스!

• Loong: 드디어 등장한 분 단위 초장편 영상 생성 AI!

Loong은 분 단위의 긴 동영상을 생성할 수 있는 새로운 자기회귀 LLM 기반 비디오 생성모델입니다. 이전 연구에서는 긴 시퀀스를 모델링하는 데 있어 자기회귀 LLM의 잠재력을 탐구했지만 짧은 비디오 생성에 중점을 두었습니다. 본 논문에서는 긴 비디오 훈련의 문제점을 분석하고, 훈련 손실 불균형을 완화하기 위해 손실 재가중 방식과 점진적인 짧은 훈련에서 긴 훈련으로의 전략을 제안합니다. 또한 추론 중 오류 누적을 줄이기 위해 비디오 토큰 재인코딩 및 샘플링 전략을 포함한 추론 전략을 연구합니다. Loong은 텍스트 프롬프트를 기반으로 분 단위의 긴 동영상을 생성할 수 있으며, 긴 비디오 생성에서 LLM의 기능을 보여줍니다.

https://huggingface.co/papers/2410.02757

• 게임 AI 혁명! LBI, 스타크래프트 정복하다!

이 논문에서는 복잡한 다중 에이전트 의사 결정 문제에 대한 근거 있는 답변을 생성하기 위해 언어 기반 시뮬레이터와 다중 에이전트 강화 학습을 결합한 새로운 패러다임인 '상호 작용 전 학습' (LBI)을 제안합니다. LBI는 이미지 토크나이저와 인과 트랜스포머를 사용하여 관측 및 상태 전환을 예측하는 다이내믹스 모델과, 텍스트 설명을 사용하여 전문가 데모에서 궤적의 가능성을 최대화하여 보상을 추론하는 보상 모델로 구성됩니다. LBI는 다이내믹스 모델에서 수집된 궤적에 대해 보상 모델을 사용하여 정책을 학습하고, 학습된 정책을 사용하여 다이내믹스 모델과 상호 작용하여 답변을 생성합니다. 스타크래프트 다중 에이전트 챌린지 벤치마크에서 LBI는 다양한 오프라인 학습 방법보다 우수한 성능을 보여주었으며, 특히 보이지 않는 작업에 대한 일반화 능력이 뛰어났습니다. 또한 LBI는 일관된 궤적을 생성하고 중요한 상태에서 설명 가능한 보상을 제공할 수 있습니다.

https://arxiv.org/abs/2410.02664

AI학교 아이펠에서 최신 AI연구를 완성해보세요! https://bit.ly/3Y0ZO7Q
AI엔지니어 선배팅 : https://forms.gle/d35G1TMSvdFPXFSdA