우리에게 복잡한 LLM Agent가 꼭 필요할까요?

LLM 등장 이후, Image Classification을 위해 코드를 짤 때, torch를 import하기보다, openai를 import하진 않으시나요? 직접 torch로 모델 개발하기보다 gpt-4o, claude-3한테 프롬프팅하는게 익숙해지지 않으셨나요?

Agent에게 툴을 쥐어주고 어떤 툴을 사용할지 선택하게 하는 Multi-Agent Architecture는 우리에게 다양한 문제를 풀 수 있게 해주었습니다. 그런데 이 논문의 저자들은 '굳이 multi agent를 써야해? 모든 과정에서 LLM을 남용하지마. 그게 더 성능이 좋아.' 라고 주장합니다.

SWE-Bench Lite 라는 개발 관련 벤치마크에서 저자들의 Agentless 방법이 기존 open-source agent들보다 더 적은 비용으로 더 좋은 성능을 내었습니다. Agentless는 기존과 다르게 LLM이 직접 어떤 툴을 실행하거나 다음 액션을 결정하지 않습니다. ReAct하지 않는다고 이해하셔도 좋을 것 같아요. 다음 액션을 결정하는 기준을 직접 개발을 해서 더 성능을 높이고 비용은 줄였습니다.

이런 트렌드를 역행하는 논문들이 저는 참 재밌는 것 같아요. 이런 논문들을 통해 우린 계속 적절한 균형점을 찾아나갈 수 있을 거라 생각합니다.

P.S. 이 논문을 읽으면서 Pay Attention to MLPs 논문이 떠올랐어요. Transformer 과하게 복잡해, MLP면 충분해!

논문 링크: https://arxiv.org/abs/2407.01489