[230904] 모두의연구소가 전하는 “모두를 위한 AI 뉴스”

모두의연구소는 함께 공유하고 성장하는 국내 최대 AI 커뮤니티입니다🌱. 그럼, 오늘의 AI 뉴스 시작해 볼게요! 🙂 1️⃣ LLaSM: 음성과 언어로 상호작용하는 다중 모달 언어 모델의 등장 최근 다중 모드 언어 모델이 주목받고 있으며, 대부분은 시각-언어 다중 모드에 중점을 두고 있죠! 오늘 소개해드리는 연구에 따르면 음성 및 언어 지시에 반응하는 대규모 다중 모달 음성-언어 모델인 LLaSM을 제안합니다! 인간과 인공지능 간 더 자연스러운 상호작용의 가능성을 보여줬는데요! 뿐만 아니라 LLaSM-Audio-Instructions라는 대규모 음성 명령어 데이터 세트도 함께 공개했다고 하니 본문을 확인해보세요! ▶️ https://huggingface.co/papers/2308.15930 2️⃣ LM-Infinite: 람다 주의 마스크로 대규모 언어 모델의 긴 시퀀스 한계 극복 최근 대규모 언어 모델(LLM)은 다양한 도메인에서 눈부신 발전을 보였지만, 긴 시퀀스에 대한 일반화에 문제를 겪고 있죠! 대부분의 훈련은 고정된 길이로 진행되며, 긴 컨텍스트에서 모델은 문제를 겪는 경우가 많습니다. 이를 해결하기 위한 전통적인 방법은 비용이 많이 들며, 효과적인 설계가 필요하데요. 기존 LLM의 한계점을 보완하기 위해 람다 형태의 주의 마스크와 거리 제한만을 사용한 LM-Infinite의 방법을 소개합니다! 이 방법은 다양한 LLM에 적용 가능하며, 높은 계산 효율과 함께 더 긴 시퀀스에 대해 더욱 뛰어난 성능을 보여준다고 해요~ ▶️ https://huggingface.co/papers/2308.16137 3️⃣ Jais와 Jais-chat: 아랍어 중심 대규모 언어 모델의 혁신 새로운 아랍어 중심의 대규모 언어 모델인 Jais와 Jais-chat을 출시됐습니다! 이 모델은 GPT-3 기반 아키텍처를 사용하여 아랍어와 영어 텍스트, 다양한 프로그래밍 언어의 소스 코드를 혼합하여 사전 학습하는데요. 130억 개의 파라미터로 이루어진 이 모델은 아랍어에서 기존 모델보다 훨씬 뛰어난 성능을 보여주며, 비슷한 규모의 영어 모델과도 경쟁력이 있을 것 같습니다. 아랍어 LLM 연구를 촉진하고자 기초 Jais 모델과 Jais-chat 변형 두 가지 버전을 제공한다고 하니 본 내용을 꼭 확인해보세요! ▶️ https://huggingface.co/papers/2308.16149 📍AI학교 아이펠 7기 사전 등록 중! → https://bit.ly/3YDkLV4