• LLM 다이어트, 훈련 없이 성공! - 혁신적인 아키텍처 탐색 프레임워크

이 논문에서는 대규모 언어 모델(LLM)의 효율성을 높이기 위해 훈련 없는 아키텍처 탐색 프레임워크를 제안합니다. 기존 모델 압축 기법들이 가중치 최적화에 집중하는 것과 달리, 이 프레임워크는 최적의 서브넷을 찾아 추론 속도를 높이는 데 중점을 둡니다. 먼저 가중치 중요도를 계산하여 적절한 초기 아키텍처를 식별하고, 진화 기반 알고리즘을 통해 효율적인 서브넷을 탐색합니다. 각 세대에서는 마스크 변형 알고리즘을 통해 세밀한 채널 인덱스를 식별하고, 적은 수의 훈련 샘플로 후보 아키텍처를 평가하여 효율성을 높입니다. 또한, 선택되지 않은 가중치를 활용하여 서브넷의 가중치를 교정하는 재구성 알고리즘을 도입하여 성능을 향상시킵니다. 실험 결과, 이 방법은 다양한 데이터셋과 LLM 모델에서 최신 구조 가지치기 기법보다 우수한 성능을 보였으며, GPU 메모리 사용량 감소 및 추론 가속화를 달성했습니다.

https://arxiv.org/abs/2409.17372

• LLM 훈련 속도, 1.5배 UP! DropBP로 효율적인 딥러닝

이 논문에서는 훈련 과정의 계산 비용을 줄이기 위해 역전파 과정에서 레이어를 무작위로 생략하는 DropBP(Dropping Backward Propagation) 기법을 제안합니다. DropBP는 역전파 시에만 레이어를 생략하여 순전파 과정에서 발생하는 출력 변화를 방지하고, 각 레이어의 민감도를 계산하여 드롭률을 조정함으로써 안정적인 훈련을 보장합니다. DropBP는 풀 파인튜닝 및 파라미터 효율적인 파인튜닝 모두에 적용 가능하며, LLaMA2-70B에서 QLoRA를 사용할 때 훈련 시간을 44% 단축하고 동일한 손실 수준까지의 수렴 속도를 1.5배 향상시키는 등 긍정적인 결과를 보였습니다. 또한, GPU 메모리 사용량을 줄여 훈련 가능한 최대 시퀀스 길이를 6.2배까지 늘릴 수 있었습니다.

https://arxiv.org/abs/2402.17812

AI학교 아이펠에서 최신 AI연구를 완성해보세요! https://bit.ly/3Y0ZO7Q
AI엔지니어 선배팅 : https://forms.gle/d35G1TMSvdFPXFSdA