Paper page - Addition is All You Need for Energy-efficient Language Models
huggingface.co
번개처럼 빠르고 가벼운 AI: L-Mul, 에너지 효율 혁신의 주역
대규모 신경망은 대부분의 계산을 부동 소수점 텐서 곱셈에 사용하며, 이는 많은 에너지를 필요로 합니다. 본 논문에서는 부동 소수점 곱셈을 정수 덧셈으로 근사하는 선형 복잡도 곱셈 (L-Mul) 알고리즘을 제안합니다. L-Mul은 8비트 부동 소수점 곱셈보다 에너지 효율이 높고 정밀도가 뛰어납니다. 텐서 처리 하드웨어에 L-Mul을 적용하면 에너지 비용을 최대 95%까지 절감할 수 있습니다. L-Mul의 성능을 검증하기 위해 다양한 벤치마크에서 실험을 진행했습니다. 그 결과, L-Mul은 어텐션 메커니즘에 직접 적용해도 성능 손실이 거의 없으며, 트랜스포머 모델의 모든 곱셈 연산을 L-Mul로 대체하면 미세 조정 및 추론에서 float8 e4m3을 사용하는 것과 동일한 정밀도를 달성할 수 있습니다. L-Mul은 에너지 효율적인 AI 모델 구축에 기여할 수 있습니다.
https://huggingface.co/papers/2410.00907
트랜스포머의 군살 제거: 선택적 어텐션으로 핵심 정보만 쏙쏙!
트랜스포머 모델의 어텐션 메커니즘은 모든 토큰에 주의를 기울이기 때문에 불필요한 토큰으로 인해 성능이 저하될 수 있습니다. 본 논문에서는 선택적 어텐션이라는 새로운 어텐션 메커니즘을 제안합니다. 이는 불필요한 토큰에 대한 어텐션을 줄여 성능을 향상시키는 방법입니다. 선택적 어텐션은 추가적인 매개변수 없이도 다양한 모델에서 언어 모델링 성능을 향상시킵니다. 또한 어텐션 문맥 버퍼의 크기를 줄여 추론 중 메모리 및 계산 요구 사항을 감소시킵니다.
https://huggingface.co/papers/2410.02703
AI학교 아이펠에서 최신 AI연구를 완성해보세요! https://bit.ly/3Y0ZO7Q
AI엔지니어 선배팅 : https://forms.gle/d35G1TMSvdFPXFSdA
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 10월 8일 오전 6:44