[0823]모두에게 전하는 모두연 AI뉴스!

• 반복 샘플링: 언어 모델의 숨겨진 잠재력을 깨우다

이 연구는 추론 컴퓨팅을 확장하여 언어 모델의 성능을 향상시키는 방법으로 반복 샘플링을 탐구합니다. 여러 모델과 작업에서 반복 샘플링은 생성된 샘플 중 하나를 사용하여 해결할 수 있는 문제의 비율(커버리지)을 크게 향상시킬 수 있습니다. 올바른 솔루션을 식별할 수 있는 경우, 반복 샘플링은 추론 중에 모델 기능을 증폭시킬 수 있습니다. 이러한 증폭을 통해 더 약한 모델과 많은 샘플의 조합이 더 강력하고 비싼 모델에서 더 적은 시도를 사용하는 것보다 더 효율적이고 비용 효과적일 수 있습니다.

https://arxiv.org/pdf/2407.21787

• LLM 다이어트 성공: 가지치기와 지식 증류로 가볍고 강력하게

이 보고서는 LLM(Large Language Model)의 효율적인 압축 방법에 대한 연구 결과를 제시합니다. 저자들은 가지치기(pruning)와 지식 증류(knowledge distillation) 기술을 결합하여 Llama 3.1 8B 및 Mistral NeMo 12B 모델을 각각 4B 및 8B 매개변수 모델로 성공적으로 압축했습니다. 특히, 기존 학습 데이터에 접근할 수 없는 상황에서 '교사 모델 수정(teacher correction)' 단계를 추가하여 모델 성능을 향상시켰습니다. 그 결과, 압축된 모델들은 원본 모델에 비해 훨씬 적은 학습 토큰을 사용하면서도 유사하거나 더 나은 성능을 달성했습니다. 이러한 접근 방식은 대규모 언어 모델의 효율적인 배포 및 활용 가능성을 높이는 데 기여할 수 있습니다.

https://arxiv.org/pdf/2408.11796

데이터를 비즈니스 가치로 연결하는 데이터 사이언티스트 전문 과정 모집 중! : https://bit.ly/3YBFXNf