♻️ LLMs Are Improving Themselves
www.linkedin.com
[LLM Watch] 스스로 발전하고 있는 LLMs
스스로 수정하는 LLM
4단계의 RAG 및 그 이상
RAG에서 GPT-4o를 능가하는 9B 모델
1. 강화 학습을 통해 언어 모델이 스스로 수정하도록 훈련하기
자가 수정 LLM
논문:https://arxiv.org/abs/2406.11271
코드: https://github.com/mlfoundations/MINT-1T
어떤 문제를 해결하나요?
자가 수정은 외부 피드백이나 감독에 의존하지 않고도 스스로 실수를 식별하고 수정할 수 있기 때문에 대규모 언어 모델(LLM)에 매우 바람직한 기능입니다.
그러나 LLM 기술의 급속한 발전에도 불구하고 최신 LLM에서는 자가 수정 기능이 크게 효과적이지 않다는 사실이 지속적으로 밝혀지고 있습니다.
자가 수정 학습을 위한 기존의 접근 방식은 여러 모델을 필요로 하거나 더 유능한 모델 또는 다른 형태의 감독에 의존하기 때문에 많은 실제 시나리오에서 리소스 집약적이고 비실용적일 수 있습니다.
어떻게 문제를 해결하나요?
SCoRe(강화를 통한 자기 수정)는 전적으로 자체 생성된 데이터를 사용하여 LLM의 자기 수정 능력을 크게 향상시키는 멀티턴 온라인 강화 학습 접근 방식입니다.
(1) 자체 생성된 보정 트레이스의 자체 분포로 모델을 훈련하여 감독 미세 조정(SFT) 접근 방식이 직면하는 분포 불일치 문제를 해결합니다.
(2) 적절한 정규화 기법을 사용하여 주어진 프롬프트에 대해 단순히 높은 보상 응답을 맞추는 것이 아니라 효과적인 자가 수정 전략을 학습하도록 학습 프로세스를 조정합니다.
이 정규화에는 기본 모델에서 RL의 첫 번째 단계를 실행하여 붕괴에 덜 취약한 정책 초기화를 생성한 다음, 보상 보너스를 사용하여 훈련 중에 자기 교정을 증폭시키는 것이 포함됩니다.
다음 단계는 무엇인가요?
대체 정규화 기법을 탐색하거나 도메인별 지식을 통합하는 등 SCoRe 접근 방식을 더욱 개선하면 자가 수정 성능이 훨씬 더 향상될 수 있습니다.
또한, 다른 LLM 아키텍처와 도메인에 대한 SCoRe의 확장성과 일반화 가능성을 조사하면 LLM의 자가 수정 기능을 향상시키는 표준 기술로 자리매김하는 데 도움이 될 수 있습니다.
2. 검색 증강 생성(RAG)과 그 이후: LLM이 외부 데이터를 더 현명하게 사용하는 방법에 대한 종합적인 설문조사
RAG와 그 이후 - 논문: https://arxiv.org/abs/2409.14924v1
어떤 문제를 해결하나요?
대규모 언어 모델(LLM)은 다양한 작업에서 인상적인 성능을 보여 왔지만, 외부 데이터를 통합하면 그 성능을 더욱 향상시킬 수 있습니다. 그러나 다양한 전문 영역에 걸쳐 데이터 증강 LLM을 효과적으로 배포하는 데는 상당한 어려움이 있습니다.
이러한 과제에는 관련 데이터를 검색하고, 사용자의 의도를 정확하게 해석하고, 복잡한 작업에서 LLM의 추론 기능을 충분히 활용하는 것이 포함됩니다.
어떻게 문제를 해결할 수 있을까요?
이 설문조사에서는 필요한 외부 데이터의 유형과 작업의 주요 초점에 따라 사용자 쿼리를 명시적 사실 쿼리, 암시적 사실 쿼리, 해석 가능한 근거 쿼리, 숨겨진 근거 쿼리 등 네 가지 수준으로 분류하는 검색 증강 생성(RAG) 작업 분류 방법을 제안합니다.
이 설문조사는 이러한 쿼리 수준을 정의하고, 관련 데이터 세트를 제공하며, 각 수준에 대한 주요 과제와 가장 효과적인 기술을 요약함으로써 독자들이 LLM 애플리케이션 구축 시 데이터 요구사항과 주요 병목 현상을 이해하고 분석하는 데 도움을 줍니다.
또한 이 설문조사에서는 컨텍스트, 소규모 모델, 미세 조정의 세 가지 주요 외부 데이터 통합 방식에 대해 논의하며 각 방식의 강점과 한계, 해결에 가장 적합한 문제 유형에 대해 강조합니다.
다음 단계는 무엇인가요?
LLM이 계속 발전하고 더욱 강력해짐에 따라 외부 데이터의 통합은 성능을 향상시키고 복잡한 실제 작업을 처리하는 데 점점 더 중요한 역할을 하게 될 것입니다.
향후 연구는 관련 외부 데이터를 검색하고 통합하기 위한 보다 정교한 기술을 개발하고, LLM의 해석 가능성과 추론 능력을 향상시키는 데 초점을 맞춰야 합니다.
또한 데이터 증강 LLM 애플리케이션의 개발과 평가를 지원하기 위해 광범위한 전문 영역을 포괄하는 보다 다양하고 포괄적인 데이터 세트가 필요합니다.
3. SFR-RAG: 컨텍스트에 충실한 LLM을 향하여
SFR-RAG - 논문: https://arxiv.org/abs/2409.09916
어떤 문제를 해결하나요?
검색 증강 생성(RAG)은 외부 문맥 정보를 통합하여 대규모 언어 모델(LLM)의 사실 정확도와 관련성을 향상시키는 것을 목표로 합니다.
하지만 기존 RAG 모델은 제공된 문맥을 충실히 이해하고, 환상을 피하고, 품질이 낮거나 관련성이 낮은 문맥을 처리하고, 복잡한 멀티홉 추론을 수행하고, 신뢰할 수 있는 인용을 생성하는 데 종종 어려움을 겪습니다.
어떻게 문제를 해결하나요?
SFR-RAG는 문맥에 기반한 생성 및 환각 최소화를 위해 특별히 명령어로 조정된 소형 LLM을 도입하여 기존 RAG 모델의 한계를 해결합니다.
이 모델은 제공된 컨텍스트를 충실히 이해하고, 잘못된 정보를 생성하지 않으며, 답이 없거나 사실과 반대되는 질문과 같은 까다로운 시나리오를 처리하고, 멀티홉 추론을 수행하도록 훈련됩니다.
또한 SFR-RAG는 신뢰할 수 있는 인용을 생성하도록 설계되어 생성된 답변의 신뢰성을 높입니다.
또한 저자들은 일관된 설정으로 다양한 RAG 벤치마크를 컴파일하여 재현 가능하고 일관된 모델 평가를 가능하게 하는 표준화된 평가 프레임워크인 ContextualBench를 소개합니다.
다음 단계는 무엇인가요?
SFR-RAG의 인상적인 성능은 주요 기준선에 비해 훨씬 작은 크기에도 불구하고 효율적이고 효과적인 RAG 모델을 개발할 수 있는 가능성을 보여줍니다.
향후 연구에서는 명령어 튜닝 프로세스에 대한 추가 최적화와 더 큰 모델 크기로의 SFR-RAG의 확장성을 조사할 수 있습니다.
또한 컨텍스트벤치의 도입은 RAG 모델의 표준화된 평가와 비교를 위한 기회를 열어주어 이 중요한 제너레이티브 AI 영역의 발전을 촉진할 것입니다.
source: https://www.linkedin.com/pulse/llms-improving-themselves-pascal-biese-z2uxf/
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 9월 28일 오전 7:34
댓글 0
함께 읽은 게시물
조직에서 평탄한 시기가 조직이 옆으로 확장하는 시기라면, 어려움을 극복하는 시기는 조직이 안으로 깊어 가는 시기이다. 어려움을 넘어 성숙한 조직이 되기 위해서는 먼저 이유를 알아내고, 결과를 알아내며, 반응을 결정하는 과정이 있어야 한다.
... 더 보기
VIG파트너스는 카카오모빌리티 소수 지분 투자를 위한 투자자 모집을 진행 중이다. VIG 측은 TPG(29.04%), 칼라일(6.18%), 한국투자증권·오릭스PE(5.35%) 등 카카오모빌리티 기존 투자자들이 보유 중인 지분 약 40% 이상을 인수하는 거래를 추진하고 있다.
... 더 보기“두 명의 학생이 있습니다. 한 명은 학기 초부터 뛰어난 퍼포먼스를 보입니다. 중간고사에서 100점 만점에 98점을 받더니 기말고사에서 80점을 기록합니다. 다른 학생은 중간고사 70점, 기말고사 88점을 받습니다. 어느 학생이 뛰어난 걸까요?”
... 더 보기
