🩵모두의연구소는 함께 공유하고 성장하는 국내 최대 AI 커뮤니티입니다. 그럼, 오늘의 AI 뉴스 시작해 볼게요! :) 1️⃣[Hydra-RLHF: PPO 메모리 요구 사항 최적화를 통한 강화 학습 효율성 향상](https://huggingface.co/papers/2309.00754) 인간 피드백 기반 강화 학습(RLHF)은 언어 모델링에 혁신을 가져왔지만, 근사 정책 최적화(PPO)의 높은 메모리 요구로 인해 실무자들이 사용하기 어렵습니다. 우리는 PPO의 메모리 사용량을 줄이는 방법으로 Hydra-RLHF를 제안하였습니다. 이는 SFT와 보상 모델을 통합하고 훈련 중 LoRA를 동적으로 '끄는' 방식입니다. 실험 결과, LoRA-PPO는 메모리 사용량을 줄이면서 성능을 향상시켰고, Hydra-PPO는 지연 시간을 최대 65%까지 줄이면서 성능을 유지하였습니다. 이는 Hydra-PPO가 RLHF에 대한 효과적인 솔루션임을 보여줍니다. 2️⃣[ModelScope-Agent: LLM을 위한 통합 가능한 에이전트 프레임워크와 지능형 어시스턴트](https://huggingface.co/papers/2309.00986) 최근 대규모 언어 모델(LLM)은 사람처럼 의도를 이해하고 추론하며 행동을 설계하는 능력을 보였습니다. LLM의 성능을 극대화하기 위해 외부 API와 연결 가능한 에이전트 프레임워크에 대한 관심이 증가하고 있습니다. 이 연구에서는 LLM을 컨트롤러로 사용하여 여러 오픈 소스 LLM과 원활하게 통합 가능한 ModelScope-Agent 프레임워크를 제시합니다. 이 프레임워크는 도구 사용, 메모리 제어, 맞춤형 모델 훈련 등을 지원합니다. 또한, ModelScopeGPT라는 실제 지능형 어시스턴트도 소개되며, 이는 ModelScope 에이전트 프레임워크를 기반으로 1000개 이상의 AI 모델과 커뮤니티 지식을 연결할 수 있습니다. 3️⃣[PromptTTS 2: 변동성 네트워크와 대규모 언어 모델을 활용한 고품질 텍스트 음성 변환](https://huggingface.co/papers/2309.02285) 텍스트보다 음성은 더 다양한 정보를 전달할 수 있습니다. 하지만 기존의 텍스트 음성 변환(TTS) 방식은 음성 프롬프트에 의존하므로, 텍스트 프롬프트를 사용하는 것이 더 일반적입니다. 이러한 TTS 방식은 일대다 문제와 프롬프트 데이터 세트의 제한적 가용성 문제가 있습니다. 본 연구에서는 PromptTTS 2라는 새로운 시스템을 소개하는데, 이는 텍스트 프롬프트에서 누락된 음성 변동성 정보를 변동성 네트워크를 통해 제공하며, 대규모 언어 모델을 이용해 고품질의 텍스트 프롬프트를 생성합니다. 이 시스템은 대규모 음성 데이터 세트에서 높은 성능을 보여주며, 텍스트 프롬프트와 더 일관된 음성 생성 및 다양한 음성 샘플링을 지원합니다. 이로 인해 사용자는 더 많은 선택을 할 수 있으며, 프롬프트 생성에 드는 라벨링 비용도 크게 절감됩니다. 📍AI학교 아이펠 7기 무료 입학하기! → https://bit.ly/3YDkLV4 #모두를위한AI뉴스 #AI뉴스 #AI트렌드 #모두의연구소 #아이펠