Claude Haiku >= GPT-4 ?

Claude Haiku가 GPT-4와 동일하거나 그 이상이라는 leaderboard 결과가 나왔습니다. https://huggingface.co/.../lmsys/chatbot-arena-leaderboard LMSYS Chatbot Arena는 인간 유저가 질문을 하면 2개의 랜덤한 LLM이 답변을 하고, 이에 대해 선호를 매기는 방식으로 측정됩니다. Opus가 GPT4를 넘어설 것이라는 것까지는 예상이 되었는데, Sonnet 뿐 아니라 Haiku까지 GPT4 이상의 성적을 보일 것이라고는 예상하지 못했네요. 비용을 고려한다면 Haiku의 매력도가 엄청 올라간 것 같습니다! 아래의 사이트에서 비교해보니, 비용이 30배~60배 정도 차이가 나네요. https://context.ai/compare/gpt-4-0613/claude-3-haiku