📝 More Agents Is All You Need

대규모 언어 모델(LLM)의 성능을 간단히 증가시키는 방법으로 에이전트의 수를 확대하고 샘플링 및 투표 방식을 적용하는 방법을 제시하는 논문입니다.

이 방법은 기존의 복잡한 방법들과는 달리 간단하면서도 독립적인 방법으로, 다양한 작업에서, 특히 어려운 문제인 수학과 MMLU등의 작업에서 큰 성능 향상을 보여줍니다.

방법은 간단한데요. 기본적인 아이디어는 여러개의 답변을 생성한 후, 모든 생성 결과 페어에 대해 유사도를 계산 한 후, 유사도의 합이 가장 높은 답변을 선택하는 방법입니다.

Self-Consistency 와 유사한 방법이지만, 프롬프팅과 투표 방법이 훨씬 간단하고, Zero Shot CoT나 Debate, Reflection 등의 다른 프롬프팅 기법과 병행하면 Llama나 GPT-3.5로도 GPT-4 수준의 성능을 만들어 낼 수도 있다고 합니다.

다만, 샘플링을 5~10번 정도는 진행해야 높은 수준의 결과를 얻을 수 있기 때문에, 작은 모델로 병렬처리를 하는 것이 유리한 경우에만 효과적으로 사용 할 수 있을 것 같습니다.

혹은 동등한 수준의 다양한 작은 모델들을 병렬 처리하여 유사 MoE(Mixture-of-Experts) 방식으로 높은 성능의 서비스를 할 수도 있을텐데요. 이렇게하면 P2P 방식으로 탈중앙화된 고성능의 AI를 만들 수도 있지 않을까 싶습니다.

📄 논문 👉 https://arxiv.org/pdf/2402.05120.pdf

💁🏻‍♂️ 프롬프트 엔지니어링 👉 https://fastcampus.co.kr/data_red_golbin