• InfiniteHiP: 대규모 언어 모델의 컨텍스트 길이 300만 토큰으로 확장

이 논문에서는 사전 훈련된 대규모 언어 모델(LLM)에서 최대 300만 개의 토큰에 대한 컨텍스트 길이를 확장하기 위한 새로운 프레임워크인 InfiniteHiP를 제안합니다. InfiniteHiP는 계층적 토큰 프루닝 알고리즘과 RoPE 조정 방법을 사용하여 관련 없는 컨텍스트 토큰을 동적으로 제거합니다. 그 결과 InfiniteHiP는 단일 GPU에서 최대 300만 개의 토큰을 처리할 수 있으며 100만 개의 토큰 컨텍스트에 대해 어텐션 디코딩 속도를 18.95배 향상시킵니다. 추가 훈련 없이 컨텍스트 정보의 영구적인 손실 없이 이러한 성능 향상을 달성합니다.

https://huggingface.co/papers/2502.08910

• 언어 장벽 없는 AI, 태국어 LLM 발전의 가능성

이 논문에서는 DeepSeek R1과 같은 고급 추론 기능을 태국어 LLM과 같은 언어별 대규모 언어 모델(LLM)에 통합하기 위한 데이터 선택 및 모델 병합 방법론을 연구합니다. 목표는 언어별 LLM의 추론 기능을 향상시키는 동시에 대상 언어 능력을 유지하는 것입니다. DeepSeek R1은 추론 능력이 뛰어나지만 주로 영어와 중국어와 같은 리소스가 풍부한 언어에 도움이 됩니다. 그러나 리소스가 부족한 언어는 영어 중심 교육 데이터와 모델 최적화가 지배적이어서 성능이 제한됩니다. 이러한 제한으로 인해 코드 전환이 불안정하고 리소스가 부족한 언어로 된 작업의 효과가 떨어집니다. 한편 지역 LLM 이니셔티브에서는 지역 언어 충실도를 개선하는 데 중점을 둔 언어별 LLM을 개발하여 이러한 격차를 해소하기 위해 노력해 왔습니다. 이 논문에서는 공개적으로 사용 가능한 데이터 세트와 $120의 계산 예산만으로 대상 언어 작업의 성능을 저하시키지 않고 언어별 LLM의 추론 기능을 DeepSeek R1 수준으로 향상시킬 수 있음을 보여줍니다. 이 연구에서는 언어별 LLM 이니셔티브의 발전을 촉진하기 위해 데이터, 병합 구성 및 모델 가중치를 공개합니다.

https://huggingface.co/papers/2502.09056

2017년부터 가치를 이어온 AI 명문
아이펠리서치 온라인13기 사전등록 : https://bit.ly/4jzwrSS