• Stability AI, STABLE AUDIO 오픈 모델 공개

Stability AI가 6월 5일에 발표한 Stable audio의 모델 스펙, 웨이트, Reproduction을 위한 툴과 평가 코드를 공개했습니다! 연구자들은 미세 조정을 가능하게 하고 새로운 모델을 제시할 때 기준점 역할을 하는 오픈 생성 모델의 중요성을 강조하며, 대부분의 텍스트-오디오 변환 모델은 비공개이며 예술가와 연구자들이 활용하기 어려운 점을 극복하고 커뮤니티에 기여하고자 모델을 공개한다고 밝혔습니다. 보고서에 따르면, Stable audio는 오토인코더와 T5 텍스트 임베딩을 사용한 DiT 구조를 차용, 크리에이티브 커먼즈 데이터로 훈련되었습니다. 또한 연구자들은 훈련 환경과 하이퍼파라메터, 모델 구조와 Solver등의 디테일을 보고서에 기록하였습니다. Stable Audio는 이해 가능한 담화를 생성하지는 못하지만, 오디오와 음악 생성에서 Meta MusicGen과 AudiogenAI의 AudioGen을 능가하는 사실성을 기록하였습니다.

https://github.com/Stability-AI/stable-audio-open-demo

• 비연속에서 연속으로: JumpReLU의 혁신적인 학습 방법

구글 딥마인드에서 JumpReLU라는 새로운 희소 오토인코더(SAE) 아키텍처를 소개합니다. JumpReLU SAE는 기존의 Gated 및 TopK SAE와 비교하여 더 나은 재구성 충실도와 희소성의 균형을 제공합니다. 비연속적인 활성화 함수를 사용하지만 straight-through 추정기를 통해 효과적으로 학습할 수 있습니다. 실험 결과, JumpReLU SAE는 Gemma 2 9B 모델의 활성화에서 최첨단 재구성 충실도를 달성하면서도 해석 가능성을 유지합니다. 또한 훈련과 실행이 효율적이며, 다른 SAE 방법들의 장점을 결합한 개선된 방법을 제시합니다.

https://huggingface.co/papers/2407.14435

AI 개발자 과정의 압도적인 수준 차이! 입문자에서 전공자까지! 아이펠 9기 모집중 : https://bit.ly/4ePP8iK