📊 GPT-4 Turbo와 Claude-2의 컨텍스트 길이에 따른 성능 비교

- GPT-4는 8K 이하에서 매우 뛰어난 성능을 보이고, 16K 까지 준수한 성능을 보임

- Claude-2의 컨텍스트 활용률(사용 정확도)는 GPT-4에 비해 상당히 많이 떨어지지만, 16K 이후에도 활용률이 일정하게 유지됨

- GPT-4가 Claude-2보다 27K 이하의 토큰에서는 활용률이 더 좋지만, 그 이상에서는 활용률이 크게 떨어짐

- 최대 16K 이상에서는 두 모델 모두, 요약 수준이 아닌 정확도를 어느정도 요하는 태스크에서는 사용하기 어려울 것

📝 Two Cents

GPT-4 Turbo의 128K에 달하는 긴 컨텍스트를 다루는 기술은, 8K~16K 까지의 성능을 올리기 위한 것이 주 목적인 것 같음 (참고로 출력이 4K로 제한되어 있음)

https://github.com/stunningpixels/lou-eval