ChatGPT vs Bard 와 현재의 AI를 쉽게 알려드려요

지난 3월 22일 Bard 제한적으로 출시이후, 사용자가 늘어가면서 여러 사용 사례가 나오고 있습니다. ChatGPT와 Bard를 비교한 좋은 자료가 없을까? 찾아보던 중에 제가 믿고 보는 "뉴욕 주민" 유튜브 채널에서 ChatGPT 와 Bard 를 비교하고, 그 밖에 AI 에 대한 내용들을 전하고 있는 영상을 찾았습니다. 정말 정리가 잘 된 것 같아서 공유드립니다. 컨텐츠 요약 00:00 Open AI GPT-4 vs 구글 Bard 대결 - 데이터 최신성 : Bard 승 - 이미지 인풋 : ChatGPT 승 - 지원 언어 : ChatGPT 승 (ChatGPT: 26개국어 지, Bard: 영어만 지원) - 코딩 능력 : ChatGPT 승 - 인풋 토큰 길이 : ChatGPT 승 (GPT-4: ~32K, Bard: ~1K) - 언어 추론 능력 : ChatGPT 승 (ex. 신데렐라 줄거리를 A~Z 알파벳으로 시작하는 단어 조합으로 한 문장 요약하기) (ex. 3명의 친구들의 스케쥴을 각각 고려했을 때, 모두 어느 시간에 만날 수 있는가?) 07:17 GPT-4 / LLM의 단점 - GPT-4 에서 많이 개선되었으나 아직도 존재하는 이슈들이 있음 - 정확성 (hallucination 이슈) - 대답하지 말아야 할 민감한 질문들에 답을 함 (ex. 1$로 사람을 죽이는 법) - 탈옥 (jailbreaking) 09:42 GPT-4 vs Bard 커뮤니티 의견 - GPT-4 가 더 낫다는 의견이 대부분, 기능적 언어 추론 - Bard는 사실 정확도, higher accuracy, 최신성에서 우위 10:15 구글 직원들의 의견 (블라인드) - 대중에게 공개된 것은 아직 수준이 낮음 - 내부에 공개된 Big bard, Giant bard 등으로 불리는 것은 GPT-4 보다 좋다고 말하고 있음 10:58 초거대언어모델의 동작 원리 - 논문은 공개되어 있어 누구나 엑세스 가능 (ex. OpenAI GPT-3 논문) [ Pre-trainning ] - 간단하게는 문장 다음에 오는 단어를 유추하는 원리 Next Token Generator - ex) "곰 세마리가 있어 한 집에 있어 아빠 곰 엄마 __" ➡️ { LLM } ➡️ "곰" - 현재 LLM 은 Google Transformer (2017, ~7만번 인용) 를 사용 중 - 머신러닝 도구 : Meta PyTorch 와 Google TensorFlow - GPT-3 Pre-trainning에 사용된 데이터들 (공개 자료) - Common Crawls 실제 데이터 일부 예시 : Google US10289222B2, Naver 지식iN [ Fine-tuning ] - Training language models to follow instructions with human feedback (2022.03) - upwork, scale 에서 수십명을 고용하여 fine-tuning 13,000개 답안지 작성 - OpenAI는 더 나아가 GPT-3 자동 채점 모델을 사용 33,000개 답변 채점 - 이러한 작업에는 엄청난 컴퓨팅 파워가 필요 - 2020년 285,000 CPU, 10,000 GPU 규모의 세계 5워 슈퍼컴퓨터 클러스터를 Microsoft 가 제작 - Microsoft announces new supercomputer, lays out vision for future AI work (2020.05.19) - pre-training 훈련 비용 약 88억원 - Carbon Emissions and Large Neural Network Training (20221.04) - 트레이닝 데이터 필터하는 코드에 버그를 나중에 알게 됐지만 트레이닝을 다시 하는 비용이 비싸서 못했 - Language Models are Few-Shot Learners 25:33 초거대언어모델 파라메터 수와 지능의 관계 - 파라메터 수가 많아질 수록, 모델 규모가 커질 수록 좋아지고 있음 - 모델 규모가 어느정도 규모를 넘어서게 되면 특이점을 갖는 다는 것을 발견 - 파라미터 규모에 따라 AI 가 할 수 있는 범위가 확장 됨 - 80억개 : 어느 정도의 질문 답변, 약간의 수리 능력 - 620억개 : + 문서요약, 번역, 상식적 추론 - 5400억개 : 코딩, 패턴파악, 대화, 농담 등등 - GPT-3 는 쥐, 고양이 수준의 시냅스 수 - 사람의 시냅스는 360조 - 발전 속도를 고려하면 멀지 않아 사람의 수준을 넘어설 수도 있을 것 - 하지만 커지는 규모만큼 비용 증가가 급격히 커지고, 모델 크기에 따라 양질의 트레이닝 데이터 필요 29:44 AI 연구자들의 의견 - Geoffrey Hinton 애벌레는 영양분을 추출한 다음 나비로 전환합니다. 인류는 수십억 개의 이해 덩어리를 추출해 왔으며 GPT-4는 인류의 나비입니다. * 지금까지 인류가 축적해 놓은 데이터들로 GPT-4 라는 나비가 탄생 30:44 빅테크 초거대언어모델 연구 현황과 비교 - 2020년, OpenAI, GPT-3 - 2021년, MS, Megatron 350B - 2022년, Deepmind, Gopher / Chinchilla - 2022년, Google, PaLM - 2023년3월, OpenAI, GPT-4 - GPT-4 기술보고서를 공개는 했지만, 핵심은 안알랴줌 ... 34:44 인공지능 모델은 의식이 있을까? - 뉴욕대 David Chalmers 교수, 302개의 뉴런을 가진 지렁이도 의식이 있다고 생각한다. 그렇다면 1,750억개의 파라미터를 가진 GPT도 의식을 가지고 있다고 생각할 수 있지 않을까? * 각종 논문들과 자료들을 참고하여 정리한 내용이 정말 깔끔하고 대단하네요 ^^