테스트를 정밀하게 해 본 것은 아니라서 확실한 것은 아니지만, Lost in the Middle로 불리는 긴 컨텍스트에서 바늘찾기의 문제는 추론 능력의 문제가 아닌가 싶다.

Gemini 1.5와 Claude 3는 이 문제를 해결했지만, GPT-4의 경우 아직 해결이 안되었는데 다음과 같은 현상이 있다.

GPT-4에게 긴 글의 중간에 있는 정보를 찾으라고 하면 놓치는 것이 있지만, 번역을 시키면 거의 놓치지 않고 다 번역을 한다.

그리고 Gemini 1.5와 Claude 3의 경우 언어 능력보다 추론 능력이 이전 버전에 비해 (상대적으로)비약적으로 상승했다.

즉, 이 현상만으로 봤을 때, 바늘찾기 문제는 컨텍스트 기억의 문제가 아니라 추론 능력의 문제가 아닐까 싶다.