LLM Agent에게 중요한 기억만 저장하게 하는 법

우리는 사람하고 시덥잖은 농담을 할 때도 있고 정말 중요한 논의를 할 때가 있습니다. 그럴때마다 우리는 모든 대화를 기억하려고 노력하나요?

'아 내가 어제 친구랑 대화할때 하이라고 했나? 안녕이라고 했나?'

우린 기억해야 할 내용들만 잘 선별해서 뇌 안에 저장해둡니다. 그러면 LLM Agent한테도 그런 방식을 적용해볼 수 있지 않을까요? Agent에서 정말 유명한 논문인 Generative Agents: Interactive Simulacra of Human Behavior에서는 agent 끼리 대화를 할 때마다 그 대화 내용을 요약해서 메모리에 저장을 해두었습니다. 그 대화 세션의 중요도를 고려하지 않구요. 그러면 저장할만한 가치가 없는 내용들도 메모리 차지를 하는 문제가 발생합니다.

그래서 아래 논문에서는 Conditional Memory 라는 방식을 활용하여 한번 LLM이 대화 내용의 중요도를 판단하고 중요하다고 생각되면 잘 정리해서 메모리에 저장합니다. (그림에서 Yes/No로 분기 나뉘는거 보이시나요?) 이 방식이 저는 훨씬 사람과 유사한 기억법이라고 생각합니다. 유용하게 사용해볼 수 있지 않을까요?

논문 링크: https://arxiv.org/abs/2312.17257