🩵 모두의연구소는 함께 공유하고 성장하는 국내 최대 AI 커뮤니티입니다. 그럼, 오늘의 AI 뉴스 시작해 볼게요! :) 1️⃣ CM3Leon: 검색 증강 토큰 기반의 효율적 멀티모달 언어 모델 (https://huggingface.co/papers/2309.02591) CM3Leon(“카멜레온“)은 텍스트와 이미지를 모두 생성하고 채울 수 있는 검색 증강 토큰 기반의 멀티모달 언어 모델로, CM3 멀티모달 아키텍처를 기반으로 다양한 명령어 스타일 데이터를 확장 및 튜닝하였습니다. 이 모델은 대규모 검색 증강 사전 훈련과 다중 작업 감독 미세 조정 단계를 통해 훈련되었으며, 텍스트-이미지 및 이미지-텍스트 생성을 모두 처리할 수 있습니다. 이 모델은 훈련 연산이 적게 들면서도 최첨단 성능을 제공하며 다양한 이미지 관련 작업에서 뛰어난 제어 능력을 보여줍니다. 2️⃣ SLiMe: 단일 주석 샘플을 활용한 혁신적 이미지 세분화 방법 (https://huggingface.co/papers/2309.03179) 다양한 다운스트림 작업에서 대규모 비전 언어 모델인 스테이블 디퓨전(SD)의 활용에 큰 진전이 있었습니다. 이를 바탕으로 저희는 SLiMe라는 방법을 제안하여 단 하나의 주석이 달린 샘플만을 사용하여 이미지를 세분화할 수 있도록 했습니다. SLiMe는 훈련 이미지와 해당 세분화 마스크로부터 어텐션 맵을 추출하고, 그 맵을 활용해 텍스트 임베딩을 최적화하여 이미지 내 분할된 영역을 학습합니다. 이 학습된 임베딩은 이미지를 세분화하는데 사용되며, 추가 학습 데이터가 있다면 SLiMe의 성능이 더욱 향상됩니다. 실험을 통해 SLiMe가 기존의 원샷 및 소수 샷 분할 방법보다 더 우수한 성능을 보였습니다. 3️⃣ OPRO: 대규모 언어 모델을 활용한 자연어 기반 최적화 방식 (https://huggingface.co/papers/2309.03409) 이 논문은 큰 언어 모델들을 최적화 도구로 사용하는 방법에 대해 논의합니다. 저자들은 Optimization by PROmpting (OPRO)라는 방법을 제안하며, 이 방법은 큰 언어 모델들을 최적화 도구로 사용하여 최적화 작업을 자연어로 설명하는 것을 기반으로 합니다. 각 최적화 단계에서, 언어 모델은 이전에 생성된 솔루션과 그 값이 포함된 프롬프트에서 새로운 솔루션을 생성합니다. 이후 새로운 솔루션은 평가되고 다음 최적화 단계를 위해 프롬프트에 추가됩니다. 이 연구는 선형 회귀와 여행자의 문제와 같은 전통적인 최적화 문제에 대한 사례 연구를 제시하며, 다양한 언어 모델을 사용하여 OPRO에 의해 최적화된 최상의 프롬프트가 GSM8K에서 최대 8%까지, Big-Bench Hard 작업에서 최대 50%까지 성능을 향상시킨다는 것을 보여줍니다. 📍AI학교 아이펠 7기 무료 입학하기! → https://bit.ly/3YDkLV4