🩵 모두의연구소는 함께 공유하고 성장하는 국내 최대 AI 커뮤니티입니다. 그럼, 오늘의 AI 뉴스 시작해 볼게요! 1️⃣ [EvoPrompt: 진화 알고리즘을 활용한 자동 프롬프트 최적화](https://huggingface.co/papers/2309.08532) 대규모 언어 모델(LLM)은 훌륭한 성능을 보이지만, 효과적인 프롬프트 제작에 사람의 노력이 필요하다. 이를 해결하기 위해, 이 백서에서는 진화 알고리즘(Evolution Algorithm)를 기반으로 한 프롬프트 최적화 프레임워크인 EvoPrompt를 소개한다. EvoPrompt는 LLM의 언어 처리 능력과 EA의 최적화 능력을 결합하여 프롬프트를 자동으로 개선한다. 여러 데이터 세트와 모델에 대해 테스트한 결과, EvoPrompt는 기존 방법보다 최대 25% 더 높은 성능을 보였다. 이 연구는 인공신경망과 기존 알고리즘의 결합의 가능성을 보여준다. 2️⃣ [LERF-TOGO: 자연어 쿼리를 활용한 물체 파악 분포 방법](https://huggingface.co/papers/2309.07970) 물체의 특정 부분을 파악하는 것은 다양한 작업에서 중요합니다. 그러나 기존 학습 기반 파악 플래너는 물체의 다양성을 확장하는데 어려움이 있습니다. 이 연구에서는 자연어 쿼리를 활용하여 물체의 파악 분포를 출력하는 LERF-TOGO라는 방법을 제안합니다. 이 방법은 텍스트 쿼리를 사용하여 3D 언어 필드로 클립 임베딩을 추출하고, DINO 피처를 이용하여 3D 오브젝트 마스크를 생성합니다. LERF-TOGO는 이 마스크를 활용하여 파악 순위를 매길 오브젝트의 의미 분포를 얻습니다. 실제 테스트에서 LERF-TOGO는 다양한 물체에서 81%의 정확도로 올바른 부분을 파악하였고, 69%에서 성공적으로 파악하였습니다. 3️⃣ [ReLU 어텐션의 성능: 소프트맥스 어텐션과의 비교](https://huggingface.co/papers/2309.08586) 이전 연구에서는 어텐션 매커니즘에서 소프트맥스를 ReLU와 같은 포인트 단위 활성화로 대체할 때 정확도가 저하되는 것을 관찰했습니다. 비전 트랜스포머의 경우, 시퀀스 길이로 나눌 때 이러한 성능 저하가 완화되는 것을 발견했습니다. ImageNet-21k에서 소형에서 대형 비전 트랜스포머를 훈련한 실험에 따르면 ReLU 어텐션은 컴퓨팅의 함수로서 스케일링 동작 측면에서 소프트맥스 어텐션의 성능에 근접하거나 일치할 수 있는 것으로 나타났습니다. — 🥇 K-디지털 트레이닝 훈련기관 최초! '대통령 표창' 수상한 모두의연구소의 AI학교 아이펠 입학하기 → https://bit.ly/3YDkLV4