[0122]모두에게 전하는 모두연 AI뉴스!

• AI 격차 해소: 모듈식 RLM 프레임워크로의 여정

이 논문은 추론 언어 모델(RLM)에 대한 포괄적인 청사진을 제시하며, 이는 대규모 언어 모델(LLM)을 고급 추론 메커니즘과 결합하여 AI 문제 해결 능력을 재정의한 것입니다. OpenAI의 ol 시리즈와 Alibaba의 QwQ와 같은 RLM은 뛰어난 성능을 보여주지만 높은 비용, 독점적 특성, 복잡한 아키텍처로 인해 접근성과 확장성에 어려움을 겪고 있습니다. 이 논문에서는 RLM 구성 요소를 모듈식 프레임워크로 구성하는 청사진을 제안하고, 다양한 추론 구조, 전략, 강화 학습 개념, 감독 체계를 통합하는 방법을 제시합니다. 또한 x1이라는 모듈식 구현을 통해 RLM 프로토타입 제작 및 실험을 지원합니다. 이 작업은 RLM 구축의 어려움을 해소하고 고급 추론 기능을 민주화하며 혁신을 촉진하여 '부유한 AI'와 '가난한 AI' 사이의 격차를 완화하는 것을 목표로 합니다.

https://huggingface.co/papers/2501.11223

• 잘못된 길에서 배우는 AI: Agent-R의 혁신적인 오류 수정 프레임워크

이 논문에서는 대규모 언어 모델(LLM) 기반 에이전트가 상호 작용 환경에서 오류를 자체적으로 수정하고 작업을 최적화하는 능력을 향상시키는 새로운 프레임워크인 Agent-R을 제안합니다. Agent-R은 기존 방법과 달리 단순히 행동의 정확성에 따라 보상하거나 처벌하는 대신, 몬테 카를로 트리 검색(MCTS)을 활용하여 잘못된 궤적에서 올바른 궤적을 복구하는 훈련 샘플을 구성합니다. 핵심 과제는 롤아웃이 끝날 때까지 기다렸다가 오류를 수정하는 것이 아니라 적시에 수정하는 것입니다. 이를 위해 모델이 안내하는 비평 구성 메커니즘을 도입하여 실패한 궤적에서 첫 번째 오류 단계를 식별하고, 트리에서 동일한 부모 노드를 공유하는 인접한 올바른 경로와 연결합니다. 또한 오류 수정 기능과 데이터 세트 구성의 반복적인 개선을 통해 모델의 오류 복구 능력을 지속적으로 향상시킵니다. 세 가지 대표적인 상호 작용 환경에 대한 광범위한 실험 결과, Agent-R은 기준 방법에 비해 뛰어난 성능을 달성하고, 에이전트가 루프를 방지하면서 잘못된 행동을 식별하고 수정할 수 있도록 효과적으로 지원하는 것으로 나타났습니다.
https://huggingface.co/papers/2501.11425

AI학교 아이펠 퍼실의 NeurIPS 2024 논문 소개 방송
https://modulabs.co.kr/community/momos/14