GPT 수능 국어 1등급 프로젝트

🦄 포스텍영재기업인교육원 AI 과정에서 만난 교수와 제자들로 구성된 프로젝트 팀인 NomaDamas에서 공개한 GPT4.0의 수능국어 1등급이라는 재미난 프로젝트를 하고 있습니다. 조만간 수능 전과목 1등급의 결과가 나오지 않을까 싶습니다. 그러면, 앞으로는 수능 문제풀이방법을 GPT에게 물어봐야할수도 있을거 같네요~ 🍀 프로젝트 개요 'GPT-4가 고작 수능 국어 3등급이라고?'라는 의문에서 시작된 프로젝트로, 수능 국어 1등급 AI에 도전하고 있습니다. 현재까지 23 수능 국어에서 한 프롬프트로 2등급(94점)을 달성하였습니다. 문제의 유형에 특화된 프롬프트로는 1등급(96점)까지 달성했습니다. 현재는 재사용성이 좋고 반복 가능한 하나의 프롬프트로 1등급을 달성하기 위해 노력하고 있습니다. 🍀 프롬프트 전/후 결과 🍎 아무 프롬프트 엔지니어링 없는 GPT-4는 23수능 국어(화작) 86점, 3등급이었습니다. 🍎 하나의 CoT 프롬프트를 통하여 GPT-4의 성적을 2등급(94점)까지 끌어 올렸습니다. 🍎 더불어, 13번의 문제 유형에 맞춤화된 프롬프트를 이용하면 1등급(96점)까지도 올라갑니다. 🍀 교훈 🍎 GPT-4 비싸다. 🍎 수능 국어 시험(45문제)을 1회 응시하는데, 4~5달러 정도 든다. 🍎 GPT3.5와 GPT4의 격차가 엄청 크다. 🍎 GPT-4는 수학적 사고(수식 등)가 필요한 언어 문제를 해결하지 못한다. 🍎 GPT-4는 문법도 엄청 못한다. 🍎 '자세한'프롬프트 << '간단한' 프롬프트 🍎 GPT-4는 다른 관점에서 생각하는 것을 잘 못한다. 🍎 GPT-4의 zero-shot, few-shot 성능은 한국어도 뛰어나다. 🍎 top_p, temperature가 0이어도, 항상 같은 결과가 나오지는 않는다. 🍎 선택지 순서가 영향을 미치기도 한다 🍎 최종 정답을 말하는 타이밍이 영향을 미치기도 한다 이외 상세 테스트 진행 경과 및 결과 내용을 아래 github에 공개하고 있으니 참고하세요~