카카오엔터프라이즈 기술전략팀에서 발표한 본 챗GPT에 대한 방향성에 대한 글이네요. ChatGPT관련하여 쉬우면서도 심도있게 쓴 글이라서 원문을 꼭 읽어보시길 추천합니다. 😎
작년 11월 30일 OpenAI가 ChatGPT를 공개한 이후, ChatGPT의 일 사용자가 5일 만에 100만 명을, 40일 만에 1천만 명을 넘겼고, ChatGPT 관련된 기사가 쏟아져 나왔습니다.
2016년 11월 딥마인드사의 알파고가 이세돌을 이겼던 세기의 대결 이후, 두 번째 빅 웨이브가 온 것으로 평가받고 있는데요. 사실 ChatGPT 이전에 공개된 GPT-3도 많은 주목을 받았으며 초거대 모델 유행을 불러왔지만, 이 정도로 조명을 받지는 못했습니다. 그렇다면 도대체 ChatGPT는 어떤 특별함이 있길래 이렇게 많은 관심을 받고 세상을 뒤흔들고 있을까요?
📣 ChatGPT에 관하여
ChatGPT는 사람처럼 대화를 주고받을 수 있는 OpenAI의 최신 자연어 처리 모델입니다. 좀 더 자세히 설명하면, 개방형 도메인 대화를 위해 특별히 설계된 GPT-3.5(InstructGPT)에 기반한 모델입니다. 개방형 도메인 대화 모델이란 주제에 상관없이 대화가 가능한 모델을 의미하고, GPT는 사전 학습된 트랜스포머 기반 생성 모델을 의미합니다
📣 ChatGPT는 무엇이 달라졌는가
이전에도 GPT-3 모델이나 다른 자연어 모델이 많이 있었는데, 무엇이 달라져서 이렇게나 GhatGPT가 이슈가 되고 있는지 궁금하신 분도 계실 텐데요. 기존 자연어 모델과 ChatGPT 간에는 많은 차이점이 있지만, 가장 중요하다고 생각되는 차이점을 3개로 정리할 수 있습니다.
(1) 대화형 질문을 이해하고 결과물 생성
(2) 대화 내용을 기억하고 맥락에 맞게 답변
(3) 잘못된 정보를 지적하고, 비윤리적인 질문에 대한 답변 회피
📣 ChatGPT는 어떻게 문제를 해결했는가
바로 대화 모델의 실제 목표와 학습에 사용하는 목적 함수의 불일치 문제를 해결하여 사람처럼 대화할 수 있는 모델을 개발한 덕분인데요.
📌 어떻게 문제를 해결했는가? Reinforcement Learning from Human Feedback(RLHF) [1]
👉 Step 0. Pretraining
- GPT-3처럼 언어모델을 대용량의 학습데이터에서 사전학습
👉 Step 1. Supervised Fine-tuning
- 데이터셋에서 프롬프트를 샘플링하고, 사람이 직접 적절한 답변을 작성한 데이터 수집
👉 Step 2. Training reward model
- 프롬프트를 샘플링하고 앞에서 학습한 언어모델을 통해 같은 입력에 대해 k개(4~9개)의 결과물을 생성
👉 Step 3. Reinforcement Learning with PPO algorithm
- 2단계에서 지도 학습한 언어모델을 강화학습 알고리즘으로 추가 학습(fine-tuning) 진행, ChatGPT에서는 PPO(& PPO-ppx) 알고리즘을 사용
📣 빅테크 기업의 ChatGPT 대응 현황
📌 ChatGPT 날개를 단 Microsoft
📌 비상사태에 돌입한 Google
📣 ChatGPT 활용 사례
📌 검색 엔진 + ChatGPT
📌 Quora의 대화형 답변 서비스 Poe
📌 Zapier 워크플로우에 ChatGPT 연동
📌 VSCode + ChatGPT
📣 ChatGPT, 그 이후
📌 검색의 미래
- ChatGPT가 앞당겨온 검색의 미래는 검색이 사라지고 질문에 대한 결과만 나오는 모습이 되지 않을까 싶습니다.
📌 업무 효율을 높여주는 AI Assistant
- 앞으로는 AI 기술이 단순히 번거로운 작업만 줄여주는 게 아니라 아이데이션부터 결과물 제작까지 모든 과정을 지원하게 되어 업무 생산성을 크게 높여줄 것으로 기대
📣 2023년 AI 시장 전망
📌 다양한 AI서비스 공개: MS의 TTS 모델인 VALLE, 구글의 음악 생성 모델인 MusicLM 공개, OpenAI의 특정 문장을 AI가 생성한 문장인지 판별해 주는 AI Text Classifier를 공개, 조만간 GPT-4 공개 예정
📌 데이터센터향 AI 반도체 시장의 성장: 저전력 고효율로 거대 모델을 서빙할 수 있으며 비용도 저렴한 데이터센터향 AI 반도체를 통해 초거대 모델의 학습과 추론 비용을 크게 줄일 수 있을 것으로 기대
참고) RLHF로 학습된 주요 언어모델
OpenAI : ChatGPT, InstructGPT(GPT-3.5)
DeepMind : Sparrow, SFT-Utilitarian model
Anthropic : Claude