[1011]모두에게 전하는 모두연 AI뉴스!

• 1분 영화, 이젠 AI가 만든다! 혁신적인 영상 생성 기술

기존 영상 생성 모델은 짧은 영상만 생성 가능했지만, 본 논문에서는 잠재 프레임에 점진적으로 증가하는 노이즈 레벨을 할당하여 프레임 간의 세밀한 조건화와 어텐션 윈도우 간의 큰 중첩을 허용하는 점진적 영상 노이즈 제거를 통해 최대 1분 길이의 고품질 영상을 생성합니다. 이 방법은 기존 모델 아키텍처 변경 없이 쉽게 구현 가능하며 추가 계산 비용도 최소화하면서 프레임 품질, 모션 역학, 미적 품질, 장면 변화 측면에서 우수한 성능을 보여줍니다.

https://huggingface.co/papers/2410.08151

• LLM 속도 UP! PrefixQuant, 이상값 토큰 잡아내는 똑똑한 양자화 기술

대규모 언어 모델(LLM)의 활성화 양자화는 성능 향상에 필수적인 요소입니다. 기존 방법들은 토큰별 이상값을 고려하지 않아 비효율적인 동적 양자화에 의존했습니다. 본 논문에서 제안하는 PrefixQuant는 재훈련 없이 이상값 토큰을 분리하는 새로운 기술입니다. PrefixQuant는 고빈도 이상값 토큰을 식별하여 KV 캐시에 접두어를 붙임으로써 추론 중 이상값 토큰 생성을 방지하고, 효율적인 텐서별 정적 양자화를 가능하게 합니다. Llama-3-8B에서 PrefixQuant는 텐서별 정적 양자화를 사용하여 기존 동적 양자화 방법보다 퍼플렉서티는 0.98 개선하고 정확도는 +5.98 포인트 향상시켰습니다. 또한, W4A4 양자화 모델의 추론 속도는 FP16 모델보다 최대 2.81배, 기존 동적 양자화 모델보다 최대 1.3배 빠릅니다. PrefixQuant는 LLM 압축 분야의 발전에 기여할 것으로 기대됩니다.

https://huggingface.co/papers/2410.05265

[마감임박!] AI개발자 과정! 입문자에서 전공자까지! AI학교 아이펠 10기 합류 : https://bit.ly/3Y0ZO7Q