🧩 가로세로 낱말퍼즐처럼 LLM의 지식을 조합하여 대답할 수 있을까?

RAG 시스템을 설계하다보면 복잡한 질문을 마주할 때가 있습니다. 예를 들어 "해리포터 2편이 개봉했을 당시의 대통령은 누구였어?"라는 질문에 대해 대답하려면 해리포터의 개봉일이 2002년 12월 19일이라는 정보를 찾은 다음, 당시의 대한민국 대통령은 김대중 전 대통령이었다는 것을 알 수 있습니다. 하지만 우리는 어떤 문제를 풀 때 위와 같이 단순하게 선형적(liner)으로 사고하지 않습니다. 실제로는 가로세로 낱말퍼즐을 맞추듯 여러 지식을 머릿속에 "띄워 놓고" 짜깁기해서 답변하는 경우가 많죠. 본 논문의 저자들은 이러한 사고 방식을 기하학적 지식 추론 방법(Geometric Knowledge Reasoning)이라 정의합니다 [Figure 1]. 그리고 LLM으로 이런 추론이 가능한지를 알아보기 위한 데이터(Knowledge Crosswords) 2천여건을 만들어서 공유하고, 이를 통해 실험한 결과를 공유합니다. 실험 결과 저자들은 다음 네가지 결론을 얻습니다. [Table 2] 1. LLM은 기본적으로 기하학적 추론을 할 수 있는 능력을 지니고 있다. 2. 불필요한 지식(Noisy Knowledge)도 정답을 찾는데 도움이 된다. 3. 기존의 추론 프롬프팅(CoT, LTM) 방법론은 Zero-shot/Few-shot과 큰 성능 차이가 나지 않는다. 4. 새롭게 제시하는 프롬프팅 방법, 검증(Verification)과 백트래킹은 기하학적 추론에 도움이 된다. 이번 ACL 2024 Finding에 등재된 논문이며, 최근 연구가 많이 되고 있는 그래프 RAG와도 관련이 깊어보이고, 기존의 싱글홉(Atomic), 멀티홉(Multi-hop) 리즈닝 패러다임에서 더 나아가 복잡한 추론을 할 수 있는 방법론과 데이터를 제공했다는 점에서 의미가 있어보입니다. Knowledge Crosswords: Geometric Knowledge Reasoning with Large Language Models * ACL 2024 - Findings * https://aclanthology.org/2024.findings-acl.154.pdf