[LLM Watch] 차세대 RAG의 특징

1. MemoRAG: 메모리에서 영감을 얻은 지식 검색을 통해 차세대 RAG로 나아가기

• 어떤 문제를 해결하나요?

  • 검색 증강 세대(RAG)는 외부 지식 기반에 대한 액세스를 제공함으로써 대규모 언어 모델(LLM)의 성능을 향상시키는 데 큰 가능성을 보여 왔습니다. 하지만 현재의 RAG 시스템은 모호한 정보 요구 사항이나 구조화되지 않은 지식이 포함된 복잡한 작업을 처리하는 데는 한계가 있습니다. 주로 쿼리와 지식이 잘 정의된 간단한 질문-답변 시나리오에서 탁월한 성능을 발휘합니다.

• 어떻게 문제를 해결하나요?

  • MemoRAG는 기존 RAG 시스템의 한계를 해결하기 위해 새로운 이중 시스템 아키텍처를 도입했습니다. 가볍지만 컨텍스트가 긴 LLM을 사용해 데이터베이스의 글로벌 메모리를 생성합니다. 작업이 주어지면 이 LLM은 초안 답변을 생성하고, 이는 검색 도구가 데이터베이스 내에서 관련 정보를 찾을 수 있는 단서 역할을 합니다. 또한, MemoRAG는 검색된 정보를 기반으로 최종 답변을 생성하기 위해 더 비싸지만 표현력이 뛰어난 LLM을 활용합니다. 이러한 이중 시스템 접근 방식을 통해 MemoRAG는 간단한 작업에서 강력한 성능을 유지하면서 기존 RAG가 어려움을 겪는 복잡한 작업을 처리할 수 있습니다.

• 다음 단계는 무엇인가요?

  • 앞으로 연구자들은 검색 프로세스의 효율성을 개선하고 긴 컨텍스트 LLM을 위한 대체 아키텍처를 조사하는 등 MemoRAG 프레임워크에 대한 추가적인 최적화를 모색할 수 있습니다. 누군가가 “RAG 2.0”을 출시했다고 주장하는 것은 이번이 처음이 아니며, 실제 애플리케이션에 대해 MemoRAG를 실제로 평가하는 것이 매우 중요할 것입니다.

2. LLM이 새로운 연구 아이디어를 창출할 수 있을까요? 100명 이상의 NLP 연구자가 참여한 대규모 인간 연구

• 어떤 문제를 해결하나요?

  • 대규모 언어 모델(LLM)이 지속적으로 개선됨에 따라 새로운 연구 아이디어를 자율적으로 생성하고 검증함으로써 과학적 발견을 가속화할 수 있는 잠재력에 대한 관심이 높아지고 있습니다. 그러나 이러한 낙관론에도 불구하고 LLM이 실제로 참신하고 실현 가능한 전문가 수준의 아이디어를 생성할 수 있는지에 대한 엄격한 평가가 부족했습니다. 이 연구는 통제된 실험 환경에서 전문 NLP 연구원과 LLM 아이디어 에이전트를 처음으로 직접 비교함으로써 이러한 격차를 해소하는 것을 목표로 합니다.

• 어떻게 문제를 해결하나요?

  • 연구진은 100명 이상의 NLP 전문가를 모집하여 참신한 연구 아이디어를 작성하고, LLM이 생성한 아이디어와 사람이 생성한 아이디어를 모두 블라인드 리뷰하도록 했습니다. 아이디어의 참신성과 실현 가능성 등급을 비교함으로써 연구자들은 현재 연구 아이디어 발상에서 LLM의 역량에 대해 통계적으로 유의미한 결론을 도출할 수 있었습니다. 그 결과, LLM이 창출한 아이디어는 인간 전문가 아이디어보다 더 참신한 것으로 평가되었지만(p <0.05), 실현 가능성에서는 약간 낮은 평가를 받았습니다. 이 연구는 연구 아이디어 생성에 있어 LLM의 강점과 한계에 대한 귀중한 인사이트를 제공하고 연구 에이전트 구축 및 평가에 있어 미해결 문제를 파악합니다.

• 다음 단계는 무엇인가요?

  • 이 연구는 중요한 결과를 제공하지만, 연구자들은 참신성에 대한 인간의 판단이 전문가에게도 어려울 수 있다는 점을 인정합니다. 이를 해결하기 위해 연구진은 생성된 아이디어를 전체 프로젝트로 실행할 연구원을 모집하는 엔드투엔드 연구 설계를 제안합니다. 이러한 접근 방식을 통해 참신성과 실현 가능성 판단이 연구 결과의 의미 있는 차이로 이어지는지 보다 종합적으로 평가할 수 있습니다. LLM이 계속 발전함에 따라 과학적 발견을 가속화하고 연구 에이전트 개발에서 개선이 필요한 영역을 식별할 수 있는 잠재력을 평가하는 추가 연구를 수행하는 것이 중요해질 것입니다.

3. 그래프 인사이트: 그래프 구조 이해를 위한 대규모 언어 모델에서 인사이트 확보하기

• 어떤 문제를 해결하나요?

  • 대규모 언어 모델(LLM)은 그래프 처리 및 이해를 비롯한 다양한 자연어 처리 작업에서 인상적인 성능을 보여 왔습니다. 그러나 그래프 설명 시퀀스의 프롬프트를 통해 그래프 구조 정보를 이해하는 성능은 그래프 크기가 커질수록 저하됩니다. 이러한 한계는 “위치 편향”이라고 알려진 그래프 설명 시퀀스의 여러 위치에 걸쳐 LLM의 메모리 성능이 고르지 않기 때문입니다.

• 이 문제를 어떻게 해결하나요?

  • GraphInsight는 두 가지 핵심 전략을 사용해 LLM의 메모리 성능에서 위치 편향 문제를 해결합니다. 첫째, 중요한 그래픽 정보를 LLM이 더 강력한 메모리 성능을 발휘하는 위치에 전략적으로 배치합니다. 이를 통해 가장 중요한 정보를 모델이 더 잘 유지하고 이해할 수 있도록 합니다. 둘째, GraphInsight는 검색 증강 생성(RAG) 기술에서 영감을 얻어 메모리 성능이 약한 영역을 위한 경량 외부 지식 베이스를 도입합니다. 이 외부 지식 기반은 메모리 성능이 최선이 아닌 영역에서 그래프 구조에 대한 LLM의 이해를 보완합니다.

• 다음 단계는 무엇인가요?

  • GraphInsight 프레임워크는 복잡한 그래픽 구조를 효과적으로 처리하고 추론할 수 있는 새로운 가능성을 열어줍니다. 향후 연구에서는 고급 검색 메커니즘을 통합하거나 고유한 그래프 구조를 가진 특정 도메인에 적용하는 등 GraphInsight 프레임워크의 추가 최적화 및 확장을 모색할 수 있습니다. 또한 GraphInsight에서 얻은 인사이트는 LLM을 위한 보다 효율적이고 효과적인 그래프 표현 기법의 개발에 영감을 주어 궁극적으로 다양한 애플리케이션에서 그래프 정보를 이해하고 추론하는 능력을 향상시킬 수 있습니다.

• 출처: https://www.linkedin.com/pulse/what-next-gen-rag-pascal-biese-y31mf/