LLM으로 '변호사'와 '재판관' 등의 역할을 하여 민사재판의 과정을 시뮬레이션하는 실험을 했는데, 시뮬레이션이 진행됨에 따라 변호사의 LLM이 진화하여 법률에 대한 추론 스킬이 향상되었다고 합니다.

시뮬레이션이 진행됨에 따라 변호사 에이전트의 전문지식이나 논리적 사고 능력이 현저하게 향상된 것이 확인되었는데, 중요한 것은 “특수한 어노테이션은 필요하지 않았다”는 것 입니다.

원고, 피고, 원고 측의 변호사, 피고 측의 변호사, 판사, 서기관의 롤플레이로 법원의 시뮬레이션을 진행했으며, 1,000건(약 10년분)의 실제 민사 사건을 기반으로 시뮬레이션을 진행했고, "대립적 진화"라는 에이전트끼리 경쟁하면서 능력을 높이는 접근 방식을 사용했다고 합니다.

시뮬레이션을 통한 에이전트의 지속적 학습은 앞으로 더욱 중요한 주제가 될 것 같습니다.

논문 👉 AgentCourt: Simulating Court with Adversarial Evolvable Lawyer Agents