최근에 재밌게 읽은 AI 논문이 있어 가져와봤는데요. LLM의 기반이 되는 트랜스포머 모델을 사람이 잘 지도하면 높은 추론 결과를 얻을 수 있다가 이 논문의 요지이며 얼마 전에 본 앤드류 응의 프롬프트 엔지니어링 강의와 마찬가지도 휴먼 피드백이 매 step마다 가미된다면 성능 향상이 가능하다라는 이야기를 합니다. 추론의 과정을 올바르게 학습시키는 정렬 기술을 활용하면 인공지능의 추론능력 향상에 기여할 수 있음을 보여준 논문입니다. AI 적용이 딜레이되는 이유가 1. 컴퓨팅 리소스(GPU) 부족 - 하지만 곧 해결 할 수 있음 2. 추론 능력 부족 - 오늘 할 이야기! 🤖 인공지능 학회는 1. 기존트랜스포머 기반 모델의 한계 뚜렷! 새로운 알고리즘과 모델의 필요성 강조(Faith and Fate 논문 참고) 2. 트랜스포머 모델을 기반으로 적절한 학습방식을 개발 하여 사용한다면 추론능력이 크게 향상될 수 있다! 그 중 오늘 소개 드리는 논문은 두번째에 속하며 OpenAI사가 내놓은 논문으로 "과정 감독 학습"의 추론 성능을 보여줍니다. 💯 모델 평가 방법 1. generater: 주어진 문제에대해 가능한 정답을 n개 생성해내는 모델이다. 정답을 도출할 때 추론과정도 포함하도록 만들었으며, 학습모델의 성능이 중요하기에 제너레이터는 적당한 성능이 나오도록 학습시킴 2. '과정 감독 학습 모델(PRM)': generator 가 생성해낸 정답의 추론 과정 각 단계를 긍정,부정, 중립으로 평가한 결과를 도출하며 해당 모델은 액티브 러닝과 인간의 피드백으로 학습시킴 3. '결과 감독 학습 모델(ORM)': generator 가 생성해낸 정답과 자신이 생성해낸 결과만을 비교하여 평가결과를 도출하는 모델 이 중 '과정 감독 모델'의 학습 방식은 다음과 같다. "선생님의 실력을 알아보자 - 학생 답안을 채점하고 답을 내는 방식으로!" 1. 제너레이터(학생)가 생성한 답안을 채점하게 한다. 2. 채점결과를 기반으로 액티브 러닝을 통해 얼마나 채점을 잘 했는지 평가하여 추론의 정확성을 높이는 방향으로 다시 학습시킨다. 논문의 결과 '과정 감독 모델'의 정확도가 가장 높았다. 추론의 각 단계의 정확도를 높이면 결론도 정확해진다. 이러한 과정 감독 모델이 수학 문제 해결의 정확도 측면에서 다른 모델들 보다 훨씬 높은 성능을 보여줬고 다른 분야(물리,화학, 미적분학)의 문제의 정답률 또한 유의미하게 상승! https://arxiv.org/abs/2305.20050