Community

Pi와 Claude3, 같은 모델?

https://twitter.com/jeremyphoward/status/1766014062897570214 Inflection AI(딥마인드 창업자 무스타파 슐레이만 설립)의 Pi와, 최근에 GPT4 이상이라고 평가받는 Claude3에 동일한 질문을 했더니, 동일한 값이 나왔다는 주장이 제기되었습니다. LLM은 동일한 입력에 대해서도 매번 다소 다른 출력을 생성하는 확률적 특성을 보입니다. 동일한 모델에 temperature(값이 작을수록 LLM이 보다 일관된 답변을 생성하도록 하는 설정값)를 0으로 설정해도 답변이 길어질 수록 같은 답을 얻는 것을 극히 어렵다고 알려져 있습니다. 더군다나 가장 처음 이 현상을 목격한 트위터(현 X) 유저는 매우 길고 동일한 답변을 '별개의' 모델로부터 받았습니다. 이에 대한 트위터에서는 두 모델이 학습한 데이터셋 중 중복된 부분 때문에 발생했다라거나, Pi가 단순히 Claude3의 API 외부에 만들어진 서비스다라고 주장이 나왔는데요. 그것보다는 Pi와 Claude3가 같은 클라우드 환경에서 제공되며, 답변 속도를 높여 원활한 서비스 제공을 위해 질문과 답변을 캐싱하는 와중에 그 값이 공유되었다는 설명이 더 공감을 얻고 있는 것 같습니다. 아무튼 두 회사로부터의 반응이 있을지 궁금하네요.

알림

알림이 없습니다