Solar Pro 2 Preview: Small. Powerful. Now with reasoning.
www.upstage.ai
업스테이지, Solar Pro 2 Preview 발표
업스테이지가 플래그십 모델군 Solar의 강력한 추론모델, Solar Pro 2 Preview를 발표하였습니다. 31B 파라미터의 규모로 제작된 Solar Pro 2 Preview는 70B 파라미터 이상의 대형 모델에 필적하는 성능을 발휘하면서도 경량화를 통해 효율적인 배포가 가능한 것이 특징입니다. Solar Pro 2 Preview는 한국어, 영어, 일본어 등 다국어 처리 능력을 벤치마크에서 증명하였으며, 일반 대화 외에도 복잡한 질의응답, 멀티스텝 추론, 에이전트 계획 등 구조적인 사고를 지원하는 ‘Reasoning 모드’를 탑재해 활용 범위를 넓혔습니다. 또한 최대 64K 토큰까지 지원하는 확장된 문맥 처리 능력과, 최대 30%까지 토큰 수를 줄여주는 개선된 토크나이저를 통해 속도와 비용 효율성까지 확보했습니다. 업스테이지는 이후 사용성과 안정성이 강화된 Solar Pro 2를 출시할 계획이며, Solar Pro 2 Preview 는 7월 중순까지 무료로 사용할 수 있습니다.
https://www.upstage.ai/blog/en/solar-pro-2-preview-small-powerful-now-with-reasoning
“Chain-of-Model”: 모듈형 확장 가능한 LLM 개발의 새로운 가능성을 제시하는 패러다임
Microsoft 연구진이 유연하게 확장하는 새로운 학습 패러다임인 Chain of Model 을 소개하였습니다. CoM은 각 층의 은닉 상태를 체인 구조로 연결해 인과관계를 반영함으로써, 학습의 확장성과 추론의 유연성을 동시에 확보합니다. 연구자들은 먼저 “Chain-of-Representation” 개념을 도입, 각 층의 표현을 여러 서브 표현(chain)으로 나누고, 이전 체인만 참조할 수 있도록 모델을 설계하였습니다. 이 구조로 점진적인 모델 크기 확장이 가능하게 되었으며, 체인 수를 조절하여 다양한 크기의 서브 모델로 유연한 추론이 가능해졌습니다 . 연구자들은 이를 Transformer에 적용한 CoLM과, key/value를 첫 체인에서 공유하는 CoLM-Air 구조를 제공하여 모델 전환, prefill 가속 등 다양한 실용적 확장성을 입증하였습니다.
https://arxiv.org/pdf/2505.11820
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 5월 20일 오전 7:28