Paper page - LoRAShear: Efficient Large Language Model Structured Pruning and Knowledge Recovery
huggingface.co
1.LoRAShear: 마이크로소프트의 효율적 LLM 크기 축소 기술
마이크로소프트는 계산 비용 문제를 해결하기 위해 LLM의 크기를 효율적으로 줄이는 LoRAShear 방식을 소개했습니다. LoRAShear는 LLM의 의존성 그래프를 생성하여 필요 최소한의 구조를 제거하고, 중복된 정보를 보존하면서 내재된 지식을 전송하는 방법으로 구조적 가지치기를 실행합니다. 손실된 지식 복구를 위한 동적 미세조정 기법이 포함되어 있으며, 이를 통해 LLM의 크기를 20% 줄이면서 1.0%의 성능 저하만을 겪었고, 다른 최신 기술보다 뛰어난 성능을 보였습니다.
https://huggingface.co/papers/2310.18356
2.MM-VID: 복잡한 비디오 이해를 위한 멀티모달 시스템
MM-VID는 GPT-4V와 다양한 전문 도구를 결합하여 복잡한 비디오 이해를 돕는 시스템입니다. 이는 긴 비디오와 복잡한 스토리라인을 처리하기 위해 설계되었습니다. MM-VID는 비디오의 멀티모달 요소를 긴 텍스트 스크립트로 변환하며, 이 스크립트는 캐릭터의 움직임, 표정, 대화 등을 자세히 설명합니다. 이를 통해 LLM이 비디오 내용을 깊게 이해하게 되며, 오디오 설명, 캐릭터 식별 등의 고급 기능을 제공합니다. 실험은 MM-VID의 효과성과 인터랙티브 환경에서의 잠재력을 확인하였습니다.
https://huggingface.co/papers/2310.19773
3.0xide의 상용 클라우드 컴퓨터
Oxide는 세계 최초의 상용 클라우드 컴퓨터를 발표하고 44백만 달러의 시리즈 A 투자를 유치했습니다. 이 회사는 클라우드 컴퓨팅이 모든 컴퓨팅 인프라의 미래라고 믿으며, 클라우드 컴퓨터는 구매가 가능해야 하며, 랙 수준의 설계와 하드웨어 및 소프트웨어의 공동 설계가 필요하다고 주장합니다. Oxide의 클라우드 컴퓨터는 전통적인 방식과 다르게 단순화된 설치 및 운영을 제공하며, 그들의 소프트웨어는 모두 오픈 소스로 제공됩니다. 이제 이 제품은 일반적으로 구매 가능하며 관심이 있는 사람들은 Oxide에 연락할 수 있습니다.
https://oxide.computer/blog/the-cloud-computer
4.Turbot: 200개 이상의 오픈소스 리포지토리를 관리하는 방법
Turbot의 Steampipe는 여러 오픈소스 저장소를 가진 프로젝트로, 많은 저장소를 관리하려면 기술적 엄격함과 인간적 연결이 필요했습니다. Turbot는 커뮤니티에 중점을 둔 엔지니어링 실무를 결합합니다. 중요한 교훈으로는 빠른 응답을 유지하는 것, 초기 커뮤니케이션의 중요성, 기여자를 팀원처럼 대하는 것, 오래된 보고서로 진솔함을 유지하는 것, 지속적으로 문제를 해결하는 필요성, 일관성을 유지하는 것, 그리고 문서화의 중요성 등이 있습니다. 오픈소스 프로젝트가 번성하려면 사용자와 기여자의 참여가 필요하며, Steampipe는 기술과 인간의 연결을 통해 이를 달성하려고 노력하고 있습니다.
https://news.hada.io/topic?id=11610
—
🥇K-디지털 트레이닝 기관 최초! '대통령 표창' 수상한 모두의연구소의 신뢰받는 커뮤니티형 교육
☑️ [D-5] 23년 경력 MS MVP 강창훈 주강사 직강! <자바스크립트 웹 풀스택> 1기 지원하기 → https://bit.ly/3tmITjj
☑️ 쫓기지 않고 이끄는 6개월 AI 첫걸음 <AI학교 아이펠> 8기 지원하기 → https://bit.ly/44cSNkr
다음 내용이 궁금하다면?
이미 회원이신가요?
2023년 11월 1일 오후 10:19