🧩 가로세로 낱말퍼즐처럼 LLM의 지식을 조합하여 대답할 수 있을까?
RAG 시스템을 설계하다보면 복잡한 질문을 마주할 때가 있습니다. 예를 들어 "해리포터 2편이 개봉했을 당시의 대통령은 누구였어?"라는 질문에 대해 대답하려면 해리포터의 개봉일이 2002년 12월 19일이라는 정보를 찾은 다음, 당시의 대한민국 대통령은 김대중 전 대통령이었다는 것을 알 수 있습니다.
하지만 우리는 어떤 문제를 풀 때 위와 같이 단순하게 선형적(liner)으로 사고하지 않습니다. 실제로는 가로세로 낱말퍼즐을 맞추듯 여러 지식을 머릿속에 "띄워 놓고" 짜깁기해서 답변하는 경우가 많죠. 본 논문의 저자들은 이러한 사고 방식을 기하학적 지식 추론 방법(Geometric Knowledge Reasoning)이라 정의합니다 [Figure 1]. 그리고 LLM으로 이런 추론이 가능한지를 알아보기 위한 데이터(Knowledge Crosswords) 2천여건을 만들어서 공유하고, 이를 통해 실험한 결과를 공유합니다.
실험 결과 저자들은 다음 네가지 결론을 얻습니다. [Table 2]
LLM은 기본적으로 기하학적 추론을 할 수 있는 능력을 지니고 있다.
불필요한 지식(Noisy Knowledge)도 정답을 찾는데 도움이 된다.
기존의 추론 프롬프팅(CoT, LTM) 방법론은 Zero-shot/Few-shot과 큰 성능 차이가 나지 않는다.
새롭게 제시하는 프롬프팅 방법, 검증(Verification)과 백트래킹은 기하학적 추론에 도움이 된다.
이번 ACL 2024 Finding에 등재된 논문이며, 최근 연구가 많이 되고 있는 그래프 RAG와도 관련이 깊어보이고, 기존의 싱글홉(Atomic), 멀티홉(Multi-hop) 리즈닝 패러다임에서 더 나아가 복잡한 추론을 할 수 있는 방법론과 데이터를 제공했다는 점에서 의미가 있어보입니다.
Knowledge Crosswords: Geometric Knowledge Reasoning with Large Language Models
ACL 2024 - Findings
https://aclanthology.org/2024.findings-acl.154.pdf
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 8월 18일 오전 8:02
댓글 0
함께 읽은 게시물
고난이 사람을 키운다
태초에 모든 동물은 바다에서 살았다. 바다가 동물이 살기 좋은 환경이었던 것이다. 그런데, 동물 사이에 먹이 사슬이 형성되었고, 힘이 없는 동물들은 척박한 곳으로 밀려났다. 그곳이 바로 강이다. 처음에는 강에서 살기 힘들었지만, 성공적으로 적응하는 동물들이 생겨났고, 그래서 강에도 생태계가 형성되었다.
... 더 보기제가 리드하고 있는 조직(당근마켓 커뮤니티실)에서 백엔드 엔지니어를 채용 중이에요.
커뮤니티실에는 동네 이웃들의 이야기와 정보를 공유하는 동네생활팀, 이웃 간의 취미와 관심사를 연결하는 모임팀, 그리고 아파트 단지 생활을 더 편리하고 즐겁게 만들어 줄 단지팀이 있어요. 지금 내 동네에서 일어나고 있는 일들을 더 쉽게 즐기고 공유할 방법들을 찾는 일이라면 무엇이든 도전하여 실행에 옮겨요. 만드는 사람이 불편할수록 쓰는 사람은 편하다는 믿음으로 도전적인 문제를 풀어나갈 분과 함께하고자 해요.
... 더 보기
