[0114]모두에게 전하는 모두연 AI뉴스!

* 새로운 어텐션 매커니즘, Tensor Product Attention UCLA 연구진이 언어 모델의 긴 시퀀스 처리 시 발생하는 메모리 문제를 해결 수 있는 새로운 어텐션 메커니즘, TPA(Tensor Product Attention)를 제안하였습니다.. 텐서 분해를 활용하여 쿼리, 키, 값을 효율적으로 압축함으로써 KV 캐시 크기를 줄이고, RoPE와의 통합을 통해 모델 성능도 향상시켰습니다. 이를 기반으로 개발된 T6(Tensor ProducT ATTenTion Transformer) 아키텍처는 MHA, MQA, GQA, MLA 등 기존 Transformer 모델들보다 우수한 성능을 보여주었습니다. TPA의 가장 큰 장점은 제한된 컴퓨팅 자원으로도 더 긴 시퀀스를 처리할 수 있다는 점으로, 이는 현대 언어 모델이 직면한 확장성 문제를 해결하는 데 크게 기여할 것으로 기대됩니다. https://github.com/tensorgi/T6 * 자가 적용형 LLM, Transformer2 Sakana.ai 연구진들이 선보인 Transformer^2는 기존 대규모 언어 모델(LLM)의 한계를 극복하고, 가중치의 특이 성분만 선택적으로 조정해 실시간으로 다양한 작업에 적응 가능한 자가 적응형 프레임워크입니다. 추론 시 디스패치 시스템이 작업 특성을 파악한 뒤, 강화학습으로 학습된 작업별 ‘전문가’ 벡터들을 프롬프트 요구에 맞춰 동적으로 혼합해 목표 동작을 수행합니다. 특히 실시간 작업별 전문화 과정은 계산 효율이 뛰어나 정적 미세 조정보다 유연합니다. 이 방식은 LoRA 등 전통적 접근법 대비 훨씬 적은 매개변수로도 높은 효율성을 발휘하며, 시각-언어 작업을 포함한 여러 아키텍처에서 탁월한 다재다능함을 입증합니다. 자가 조직화 AI로 가는 길을 여는 중요한 도약으로 평가됩니다. https://github.com/SakanaAI/self-adaptive-llms