• 요슈아 벤지오, 어려운 수학문제 데이터셋을 AI로 만드는 기법 소개

현재 LLM 훈련은 수학적 추론을 핵심 능력으로 자리매김하고 있습니다. 공개적으로 이용 가능한 자원이 모두 활용된 상황에서, 다양하고 도전적인 수학 문제에 대한 충족되지 않은 수요가 있습니다. 인간 전문가에만 의존하는 것은 시간과 비용이 많이 들고, LLM이 생성한 문제는 종종 필요한 다양성과 난이도가 부족합니다. 이에, 요슈아 벤지오가 참여한 Quebec AI Institute와 대학교 연합 연구진이 LLM의 강점과 인간 참여 접근 방식을 결합하여 다양한 도전적 수학 문제를 생성하는 설계 프레임워크를 제시하였습니다. 기존 수학 데이터셋에서 핵심 "기술"을 추출 후, 문제에서 활용해야 할 무작위 핵심 기술 쌍으로 LLM에 프롬프트를 제시함으로써 새롭고 어려운 문제를 생성하는 기반이 됩니다. 다중 턴 프롬프팅을 통해 문제와 해답을 반복적으로 생성하고 개선 후, 인간 주석자들이 문제를 검증하고 추가로 개선하며, LLM과의 추가 상호작용을 통해 그들의 효율성이 향상됩니다. 연구자들은 MATH 데이터셋을 기반으로, MATH2 - 더 높은 품질의 수학 문제 데이터셋을 생성하였으며, MATH 벤치마크와 모델 수행 결과 비교를 통해 프레임워크의 우수성을 증명하였습니다

https://arxiv.org/pdf/2407.21009

• 어텐션 메커니즘의 효율적인 메모리 사용을 위한 Pruning 기법, ThinK

대규모 언어 모델(LLM)은 자연어 처리 분야에 혁명을 일으켰습니다. 모델 크기와 시퀀스 길이를 늘려 다양한 응용 분야에서 전례 없는 성능을 달성했습니다. 그러나 이에 따라 계산 및 메모리 비용이 증가하였습니다. 특히 트랜스포머 어텐션 메커니즘의 2차 복잡도로 인해, 긴 시퀀스의 관리가 용이하지 않았습니다. 본 논문은 긴 컨텍스트 시나리오에 초점을 맞추어, 추론 과정에서 KV 캐시 메모리 소비의 비효율성을 다룹니다. 시퀀스 길이를 기반으로 메모리를 최적화하는 기존 접근법과 달리, 연구자들은 KV 캐시의 채널 차원에 상당한 중복성이 있음을 발견했습니다. 이는 불균형한 크기 분포와 어텐션 가중치의 저차원 구조로 특징지어집니다. 이러한 관찰을 바탕으로, 어텐션 가중치 손실을 최소화하면서 가장 중요도가 낮은 채널을 선택적으로 제거하도록 설계된 새로운 쿼리 의존적 KV 캐시 가지치기 기법, ThinK가 소개되었습니다. 모델 정확도를 유지하거나 향상시킬 뿐만 아니라, 기존의 KV 캐시 축출 방법에 비해 20% 이상의 메모리 비용 감소를 달성합니다. LLaMA3와 Mistral 모델을 다양한 긴 시퀀스 데이터셋에서 광범위하게 평가한 결과, ThinK의 효과를 확인했으며, 성능을 저하시키지 않으면서 효율적인 LLM 배포의 새로운 선례를 세웠습니다.

https://arxiv.org/pdf/2407.21018

[마감임박!] AI 개발자 과정의 압도적인 수준 차이! 입문자에서 전공자까지! 아이펠 9기 : https://bit.ly/4ePP8iK