[0327]모두에게 전하는 모두연 AI뉴스!

• VisEscape: AI는 방탈출 카페에서 탈출할 수 있을까?

이 논문의 연구자들은 기존 에이전트 연구가 명시적으고 분해 가능한 단순한 환경 탐색에 집중해왔다는 한계에 주목하여, 에이전트가 환경의 제한된 측면만 인식하고, 행동에 따라 상태 지식을 동적으로 업데이트하는 것이 필요하다고 생각했습니다. 이를 통해 에이전트가 변화하는 환경에 대응하기 위해 적극적으로 주변 환경을 탐색하고 작업을 수행하는 능력을 평가할 수 있는 벤치마크를 설계하였습니다. VisEscape라는 방탈출 벤치마크는 멀티모달 에이전트의 복합적인 능력을 평가합니다. 구체적으로 에이전트가 환경을 탐색하고, 관련 정보를 식별 및 통합하며, 객체 사용법을 발견하고, 복잡한 퍼즐을 해결하여 방을 탈출할 수 있는지 검증합니다. 이미지 기반 관찰과 텍스트 기반 실행 가능한 작업을 결합함으로써, 다양한 시각언어 모델(VLM)의 계획 및 추론 능력을 종합적으로 평가하고자 했습니다.

https://arxiv.org/abs/2503.14427

• LEGO-Puzzles: AI, 레고 조립도 할 수 있을까?

다단계 공간 추론은 여러 순차적 단계에 걸쳐 공간 관계를 이해하고 추론해야 하며, 이는 로봇 조작, 자율 주행, 자동 조립과 같은 복잡한 실제 애플리케이션을 처리하는 데 매우 중요합니다. 이 논문의 연구자들은 멀티모달 언어 모델의 다단계 공간 추론 능력을 평가하기 위해 레고 기반 작업을 통해 모델을 평가하는 LEGO-Puzzles 벤치마크를 설계하였습니다. 이 벤치마크는 기본 공간 이해부터 복잡한 다단계 추론까지 11개 과제에 걸쳐 1,100개의 시각적 질문-답변 샘플로 구성되어 있습니다. 실험 결과, 최첨단 다중모달 대규모 언어 모델(MLLM)들은 심각한 공간 추론 한계를 보였습니다. 가장 강력한 MLLM조차 테스트 케이스의 절반만 답할 수 있었던 반면, 인간 참가자는 90% 이상의 정확도를 달성했습니다. 이 연구는 현재 멀티모달 AI 모델의 공간 이해와 순차적 추론 능력에 상당한 한계가 있음을 명확히 보여주며, 해당 분야의 추가 발전이 필요함을 시사합니다.

https://huggingface.co/papers/2503.19990