GPT4 성능이 나빠지고 있나봅니다...!

- 원문은 링크를 참고해보세요! GPT-4는 시간이 지남에 따라 더 나빠지고 있다. 많은 사람들이 모델 반응의 품질이 크게 저하되는 것을 발견했다고 보고했지만, 지금까지 그것은 모두 일화였습니다. 하지만 이제 우리는 안다. 적어도 한 연구는 GPT-4의 6월 버전이 몇 가지 작업에서 3월에 발표된 버전보다 어떻게 객관적으로 더 나쁘다는 것을 보여준다. 연구팀은 주어진 정수가 소수인지 여부를 파악해야 하는 500개의 문제 데이터 세트를 사용하여 모델을 평가했다. 3월에 GPT-4는 이 질문들 중 488개를 정답으로 맞추었다. 6월에, 그것은 단지 12개의 정답을 얻었습니다. 97.6%였던 성공률이 2.4%로 떨어졌습니다! 하지만 더 나빠져요! 이 팀은 Chain-of-Thought를 사용하여 모델 이유를 설명했습니다: "17077은 소수입니까? 차근차근 생각해 보세요." 생각의 사슬은 답변을 크게 향상시키는 인기 있는 기술이다. 불행하게도 최신 버전의 GPT-4는 중간 단계를 생성하지 않았고 대신 단순한 "아니오"로 잘못 대답했다 코드 생성도 더 나빠졌다. 연구팀은 리트코드의 쉬운 문제 50개로 데이터 세트를 구축하고 변경 없이 실행되는 GPT-4 답변 수를 측정했다. 3월 버전은 52%의 문제에 성공했지만, 6월부터 모델을 사용하면 10%로 떨어졌다. 왜 이런 일이 생기는 건가요? 우리는 OpenAI가 변화를 지속적으로 추진한다고 가정하지만, 그 과정이 어떻게 작동하는지 그리고 그들이 모델이 개선되고 있는지 또는 퇴보하는지 평가하는 방법을 알지 못한다. 소문에 따르면 그들은 대형 모델과 비슷하게 작동하지만 실행 비용이 덜 드는 더 작고 전문화된 GPT-4 모델을 사용하고 있다고 한다. 사용자가 질문을 하면 시스템은 어떤 모델로 쿼리를 보낼지 결정합니다. 더 싸고 더 빠르지만, 이 새로운 접근법이 품질 저하의 이면에 있는 문제가 될 수 있을까요? 제 생각에 이것은 GPT-4에 의존하는 애플리케이션을 구축하는 모든 사람에게 위험한 신호입니다. 시간이 지남에 따라 LLM이 변경되는 동작을 갖는 것은 허용되지 않습니다. 최근에 GPT-4와 ChatGPT를 사용할 때 문제를 발견한 적이 있습니까? 당신은 이 문제들이 과장되었다고 생각하나요? https://twitter.com/svpino/status/1681614284613099520

Santiago on Twitter: "GPT-4 is getting worse over time, not better.Many people have reported noticing a significant degradation in the quality of the model responses, but so far, it was all anecdotal.But now we know.At least one study shows how the June version of GPT-4 is objectively worse than... pic.twitter.com/whhELYY6M4 / Twitter"

X (formerly Twitter)

Santiago on Twitter: "GPT-4 is getting worse over time, not better.Many people have reported noticing a significant degradation in the quality of the model responses, but so far, it was all anecdotal.But now we know.At least one study shows how the June version of GPT-4 is objectively worse than... pic.twitter.com/whhELYY6M4 / Twitter"

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 7월 20일 오전 2:26

 • 

저장 10조회 2,252

댓글 0

    함께 읽은 게시물

    < 서비스를 중독성 있게 만드는 결정적 원리 >

    1. 진통제이면서 비타민이어야 한다.

    ... 더 보기

    ‘똑부(똑똑하고 부지런하기)보다 똑게(똑똑하지만 게으른) 리더가 되라.’ 리더십 코칭에서 빠지지 않는 훈수다. 현장 리더들의 말을 들어보면 실행이 쉽지 않다.

    ... 더 보기

    [김성회의 고사성어 리더십] `똑게 리더십` 3가지 법칙 - 매일경제

    매일경제

    [김성회의 고사성어 리더십] `똑게 리더십` 3가지 법칙 - 매일경제

     • 

    저장 4 • 조회 825




    최종 면접 합격 후 해야 할 일

    ... 더 보기

     • 

    댓글 1 • 저장 138 • 조회 12,375