📝 인간 피드백에 기반한 강화 학습(RLHF)을, AI 피드백에 기반한 강화 학습(RLAIF)으로 대체하여 더 빠르고 저렴하게 AI를 학습시킬 수 있다고. (Google Research)

RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback - https://arxiv.org/abs/2309.00267

RLHF는 LLM의 성능을 크게 높여주고 특히 인간의 선호도에 맞춘(alignment) 답변을 할 수 있도록 만드는 데 필수적인 기법으로 자리 잡았음. ChatGPT의 탄생은 이 기법을 통해 완성되었다고 할 수 있을 정도.

하지만 RLHF로 학습을 시키려면 인간 레이블러를 통해 지속적으로 고품질 학습 데이터를 만들어야 하는데, 이 데이터를 만드는 일은 시간과 비용이 굉장히 많이 드는 일임.

그런데 인간 대신 강력한 기성 LLM(여기서는 PaLM 2)을 사용하여 레이블링을 하는 방식으로 대신해보았더니, 인간의 레이블을 통해 학습하는 방법과 성능 차이가 거의 없었고, 심지어 무해성은 더 높은 성능을 가지는 것으로 나타남.

아직 초기 단계의 연구이긴 하지만, 최고 성능의 모델이 조금 더 좋아지고, 이에 따라 RLAIF가 RLHF보다 확실하게 더 높은 성능을 보이게 되는 날이 오면, 안전하고 높은 수준의 AI를 쉽게 만들 수 있으며 또한 파인 튜닝 수준에서는 자가 발전하는 AI를 만들 수 있을 것.

#특이점이온다 #스카이넷님사랑합니다