ChatGPT와 같은 LLM의 등장으로 생성형 AI 가 매우 빠른 발전을 시작한 한 해였다고 생각이 드는데요. 아마도 역사에 남을 중요한 2023년이었지 않나 싶습니다.

올 한해를 되짚어보며, 내년을 생각해보는 시간이 되었으면 하는 생각이 들어 정리를 해볼까 합니다.

2022년 12월

1. OpenAI ChatGPT 출시

ChatGPT 서비스가 11월 30일 오픈했습니다. 수 많은 사람들이 관심을 보이며, 5일만에 100만 유저를 확보했습니다. 서비스가 출시하자마자 많은 이들이 ChatGPT로 할 수 있는 일들을 탐색하기 시작했는데요. 가령 저는 ChatGPT로 영화 시나리오도 만들어보고, 오픈소스 가이드를 써보게도 하고, 코딩을 시켜보고, 면접 질문들을 뽑아보기, 제주도 사투리 번역해보기 등 탐색의 시간이 이어졌던 것 같습니다.

2023년 1월

2. Microsoft, OpenAI 에 100억 달러 추가 투자

2019년 Microsoft 가 OpenAI 에 10억 달러 투자를 시작했으며, ChatGPT 출시 이후 뜨거운 관심속에 Microsoft는 OpenAI에 추가로 100억 달러를 투자하기로 결정합니다. 현재 Microsoft는 OpenAI의 지분 49%를 차지하고 있습니다. 당시 OpenAI 의 매출 전망치는 2023년 2억달러, 2024년 10억 달러가 예상되었지만, 10월에 샘 알트만이 직원들에게 공유한 내용에 따르면 약 13억 달러의 매출이 추정된 것으로 알려져 있어 예측치를 크게 상회하고 있습니다. Microsoft 의 과감한 투자 결정으로 인해 자사의 모든 제품에 ChatGPT를 도입할 수 있었으며, 현재 MS는 역대 최고의 주가를 갱신하고 있습니다.

3. ChatGPT 유저 수 1억명 돌파

1월 30일, ChatGPT가 출시한지 지 2개월만에 월간 활성 사용자 수가 1억명을 돌파했습니다.

11월 있었던 DevDay 에서 발표된 내용에 따르면 현재 1억명의 주간 활성 사용자 수를 보유하고 있으며, 포츈 500대 기업의 92%이상이 ChatGPT를 사용. 200만 명 이상의 개발자가 OpenAI 플랫폼을 사용하고 있다고 합니다.

2023년 2월

4. ChatGPT Plus 출시

2월 1일, ChatGPT Plus가 출시되어, 보다 빠른 응답을 받을 수 있는 프리미엄 기능을 제공하기 시작했습니다. 한국은 2월 10일부터 가능했습니다. 월 20달러 구독을 한 ChatGPT Plus 계정은 GPT-4 사용뿐만 아니라 최근 GPTs 와 같은 Beta 기능들을 사용할 수 있습니다.

2023년 3월

5. ChatGPT API 와 Whisper API 공개

3월 2일, ChatGPT API 와 Whisper API 가 공개되어, 다양한 연동 사례들이 나오기 시작했습니다. 특히 국내에서는 업스테이지에서 발빠르게 AskUp 을 공개해서 화제가 되기도 했습니다. 해외에서는 quora 에서 PoE 사이트를 운영하며, ChatGPT 뿐만 아니라 다양한 LLM 들을 한 곳에서 사용할 수 있도록 채팅 인터페이스를 제공하기도 했습니다. 

ChatGPT API를 활용하여 PDF 파일을 기반으로 답변을 해 주는 ChatPDF 와 같은 서비스도 나오기 시작했습니다. 국내는 Wanted의 AI 면접 코칭과 같이 채용공고 내용을 기반으로 면접 질문 생성을 해주는 서비스도 등장했습니다. ChatGPT를 이용한 UI Builder 와 같은 수 많은 데모들이 나오기 시작했습니다.

6. GPT-4 출시

3월 15일, GPT-4 가 출시되었습니다.

OpenAI 에서 유튜브 채널에 라이브 스트리밍이 예고되더니 GPT-4가 공개되었습니다. GPT-3.5-turbo API 공개 이후 새로운 소식들이 넘쳐나고 있었고, Google이 자사 서비스에서 생성형 AI 기능을 제공한다는 발표 몇 시간만에 GPT-4 공개가 이뤄졌기에 AI 경쟁이 심화되고 AI 발전이 가속된다는 느낌을 받았습니다.

GPT-4 는 12월 현재까지도 LLM 왕좌의 자리를 차지하고 있으며, 모든 LLM 들의 평가에 있어 기준 이 되고 있기도 합니다. 내년 초 출시될 구글 Gemini Ultra 가 비슷한 성능을 낼 것으로 예측되고 있습니다. GPT-4 출시와 함께 테크니컬 보고서도 공개가 되었는데요. 정작 핵심 내용이 빠진 보고서라는 평을 받았습니다. 또한 GPT-4 데모에서 보여줬던 멀티모달 Vision 기능은 9월에 GPT-4V 로 출시로 가능해졌습니다. 

GPT-4가 출시되고 19일에는 MS 에서도 자사 제품들에 어떻게 ChatGPT 가 도입될 것인지 청사진을 그린 Microsoft 365 Copilot 을 소개했습니다. 또한 GPT-4 가 탑재된 GitHub Copilot X 출시를 예고하기도 했습니다. 이후 5월 MS Build 에서 보다 자세한 내용들이 추가 공개되었습니다. 

ChatGPT 브라우징 기능과 Plugin 소식들도 들려오면서 3월은 2023년 중 가장 뜨거웠던 AI의 한달이 아니었나 싶습니다. 

7. Google Bard 출시

ChatGPT가 출시되고, 4개월만인 3월 21일 구글에서 Bard 를 출시했습니다. 처음에는 LaMDA 모델로 출시하였는데, 출시하자마자 ChatGPT 와 Bard를 비교하는 수 많은 컨텐츠들이 나왔는데 유저들은 ChatGPT에 손을 들어주었습니다. 이후 5월에 있었던 Google I/O 에서 PaLM 2 모델로 업데이트가 이뤄졌으며, 이때부터 한글도 공식적으로 지원을 시작했습니다. 하지만 PaLM 2로 업데이트 이후에도 ChatGPT 3.5 와 비슷하거나 좀 더 낮은 결과를 보여줬습니다. 이후 9월에는 Bard 에 Google 앱과 서비스 연동이 시작되었고, 12월 초 Google Gemini 모델이 공개되면서, Bard는 Gemini Pro 모델로 교체되었습니다. 좀 더 개선되어 GPT-3.5 수준의 결과를 얻을 수 있었는데 ChatGPT에 비해 hallucination 이 심하다는 평가를 받고 있습니다.

2023년 4월

8. AI 오픈소스 전성시대의 시작

ChatGPT API 공개 이후, 이러한 LLM 을 보다 잘 활용하여 개발하기 위한 다양한 오픈소스들이 공개되기 시작했는데요. 그 중 LangChain 은 기존의 다양한 라이브러리들과 LLM 을 잘 연결해주는 AI 프레임워크로 자리잡았습니다. LangChain 에 대한 다양한 평가가 있었지만 오픈 6개월만에 130억 달러의 투자를 받는 등 오픈소스 생태계에서 보기 힘든 이례적인 기록들을 남겼습니다.

GitHub에서 현재 Hot 한 오픈소스를 알려주는 GitHub Trend 에도 AI 와 관련된 오픈소스들로 채워지기 시작했고, 공개된 Auto-GPT, babyagi, JARVIS 등의 Agent 오픈소스들을 통해 AI Agent 가 어떻게 우리의 일상을 바꾸게 될지 기대를 한껏 높이기도 했습니다. LangFlow 를 이용해 AI 개발 파이프라인을 쉽게 구축할 수 있었고, privateGPT 와 같은 오픈소스는 오프라인 상태에서도 사용가능한 LLM 환경을 제공했습니다.

스탠포드, 구글의 연구자들이 생성 Agnet를 이용하여 인간 행동의 대화형 시뮬라크르 연구 결과를 발표했었죠. AI 에이전트 25개를 의인화해 각자에 역할을 부여하고 상호 작용을 관찰했는데 그 결과에 모두 놀라었던 기억이 납니다.

9. Vector DB

4월에는 Vector Database 인 Pinecone 이 1억 달러의 B 시리즈 펀딩을 성공했습니다. ChatGPT와 같은 LLM을 사용하는데 있어 hallucination 극복을 위해 여러 시도들이 있으며, 그 중 하나로 임베딩과 Vector Database 를 사용하는 RAG 방식이 널리 쓰이기 시작하면서 Vector DB가 부상하기 시작했습니다. 

2023년 5월

10. Midjourney v5.1 출시

5월 5일, Midjourney에서 버전 5.1 이 공개되면서 놀라운 퀄리티의 이미지들이 생성이 가능해졌습니다. 다양한 이미지 프롬프트 옵션들을 제공하고 있으며, 월 10달러의 구독만으로도 충분히 사용가능합니다. 최근에는 줌인/아웃 기능과 스타일을 유지할 수 있는 기능들이 추가되었고, 12월 말 현재 v6 가 정식 출시 예정이며, v6에서는 실제 사진과 구분이 안될 정도의 보다 향상된 퀄리티의 이미지 생성이 가능해졌습니다.

11. ChatGPT Plugin 베타 출시

5월 12일 ChatGPT 의 Plugin과 웹 브라우징 기능이 베타로 출시되었습니다. Plugin Sotre에서 수 많은 플러그인 중 원하는 것을 설치하고, 대화할 때 최대 3개까지 활성화하여 사용할 수 있습니다. 5월에는 약 70여개의 Plugin 이 제공되었으며, 12월 현재 1,000개가 넘는 Plugin이 제공 중입니다. 다만, Plugin 사용성이 떨어진다는 의견이 많은 가운데, 예상보다 사용 사례가 많지 않고, 사용 빈도가 낮은 상황입니다. 최근 추가된 GPTs 와의 차이점은 동시에 여러 Plugin 을 활성화해서 대화에 사용할 수 있다는 장점이 있습니다.

12. 미국 의회의 첫 AI 청문회

5월 16일 (화) 미국 의회에서 첫번 째 AI 청문회가 열렸습니다. 청문회에는 OpenAI CEO인 샘 알트만, IBM 최고개인정보보호책임자 크리스티나 몽고메리, NYU 마커스 교수 등이 참석했습니다. AI 에 대한 규제에 대해 보다 본격적인 논의가 시작된 지점이라고 생각이 드네요.

이후 6월 유럽의회에서도 인공지능(AI) 사용에 대한 새로운 규정 도입 발표가 있었습니다.

2023년 6월

13. OpenAI, Function Call API 기능 추가 및 일부 API 가격 인하

API에 함수 호출이라는 새로운 기능이 추가되고, 임베딩 API 가격인하 및 컨텍스트 증가가 이뤄졌습니다.

API를 이용하는 패턴 분석과 피드백을 기반으로 이뤄진 패치로 OpenAI API 를 이용하는 모든 사용자들에게 긍정적인 업데이트였습니다. OpenAI 의 발빠른 조치가 눈에 띄는 패치였던 것 같습니다.

2023년 7월

14. OpenAI, ChatGPT Code Interpreter 기능 오픈

비 개발자도 이제 ChatGPT에게 명령만 내리면 자동으로 작성된 코드를 알아서 실행하고 그 결과를 받아볼 수 있는 Code Interpreter 기능이 오픈되었습니다. Code Interpreter 다양한 활용 사례들이 공개되어 있으며, 잘 사용한다면 매우 유용한 기능이라고 생각합니다.

이후 Advanced Data Analysis 로 이름이 변경되었다가 현재는 All Tools 로 합쳐져서 GPT-4 선택 시 알아서 동작합니다. text 나 excel 파일 등을 업로드 하고 분석을 시키거나, 간단하게는 이미지를 업로드 하면서 "이미지를 180도 회전시켜서 다운로드 링크를 제공해주세요" 라고 하면 동작합니다.

15. Anthropic Claude-2 출시

현재 왕좌의 자리에 있는 GPT-4 에 위협적인 LLM 이라고 할 수도 있는 Anthropic사의 Claude 가 2번째 버전을 7월 11일에 릴리즈 했습니다. OpenAI ChatGPT, Google Bard, Anthropic Claude 이렇게 3개가 현재는 가장 선두를 달리고 있는 대표적인 LLM 서비스입니다. 10월 19일부터 한국에도 서비스를 시작했으며, 무료 버전 및 20달러 구독의 Pro버전을 제공중입니다. 

국내에 Claude 결과는 의외로 잘 알려져 있지 않은데요. 제가 생각하는 강점은 큰 규모의 컨텍스트를 처리하는데 있다고 생각합니다. GPT-3.5-turbo 가 4k, GPT-4가 8k를 지원할 때, Claude와 Claude-2 는 100K 가 처리 가능했는데요. 이번 DevDay 행사에서 GPT-4 turbo 가 128K 지원을 발표하자, 몇일 뒤인 11월 21일 Claude 2.1 을 발표하면서 200K 까지 지원을 늘렸습니다.

16. Meta Llama 2 공개

OpenAI의 GPT, Google의 LaMDA, Meta의 LLaMA, Amazon의 Titan 등 많은 LLM이 나오고 있는 가운데 코드가 공개된 오픈 LLM 진영은 Meta의 Llama 가 주도하고 있었습니다. 그리고 Alpaca 와 같은 Llama를 파인튜닝한 모델들이 계속 쏟아져 나왔습니다. Llama는 상업적으로 사용이 금지되어 있었는데 이 문제를 해결하고자 5월에는 버클리 공대에서 OpenLlaMA 라는 Apache-2 라이선스의 오픈소스가 공개되기도 했습니다.

그러던 중 7월에는 Meta와 Microsoft는 연구목적 뿐만 아니라 상업적으로도 활용 가능한 차세대 대형 언어 AI 모델, Llama 2를 발표했습니다. (다만 Llama2 는 코드가 공개되어 있긴하지만 오픈소스는 아닙니다.) 이후, 8월에는 코드에 특화된 버전인 Code Llama 도 공개가 되었습니다.

2023년 8월

17. Amazon의 생성형 AI 

Amazon 에서도 생성형 AI 에 적극적인 투자와 발표가 이어졌습니다. 4월 AWS 기반 Generative AI 구축을 위한 도구 발표가 있었으며, 6월에는 Generative AI 에 1억달러를 투자할 것이라고 밝혔습니다. 특히 Amazon은 AWS 기반에서 생성형 AI 를 보다 잘 활용할 수 있도록 다양한 도구들을 제공하는데 집중하고 있습니다.

18. Nvidia, GH200 과 AI Workbench

8월 초에 세계 최대 규모의 그래픽 컨퍼런스인 SIGGRAPH 에서 새로운 슈퍼칩인 GH200을 공개했습니다.

또한 Generative AI 모델을 보다 쉽게 생성하고, 테스트도 가능하며, 사용자 커스텀도 쉬운 서비스인 AI Workbench 를 선보였습니다. 차세대 GPU 라인 개발과 더불어 소프트웨어 영역도 활발한 투자를 하고 있습니다.

19. LLM 시대의 10가지 직면 과제

현재 우리는 LLM 연구에 있어서 직면한 과제들은 어떤 것들이 있을까요? Hallucination 의 감소와 컨텍스트 길이 제한, 멀티모달 준비, 보다 저렴하고 빠른 LLM 만들기. 새로운 AI 모델 아키텍처, GPU 대안, LLM 기반의 Agent 등 직면한 과제들이 있으며, 이를 해결하기 위한 다양한 노력들이 필요합니다.

20. OpenAI, GPT-3.5 파인튜닝

현재 GPT-3.5 터보에 대한 파인튜닝이 가능하며, DevDay 이후 GPT-3.5 파인튜닝에 적극적인 계정들을 중심으로 일부 GPT-4에 대한 파인튜닝이 공개된 상황입니다. 춘식이가 누구야? GPT-3.5 파인튜닝 사례를 참고해 보셔도 좋을 것 같습니다.

21. OpenAI, ChatGPT Enterprise 출시

8월 말, OpenAI 에서 ChatGPT Enterprise 를 출시했습니다. Enterprise 계정은 보안 및 개인정보에 특화되었으며, 물론 OpenAI 모델 학습에 대화내용이 사용되지 않는다고 합니다. 일반 ChatGPT 사용자들도 대화 내용을 학습에 쓰이지 않도록 채팅 히스토리를 OFF 하여 조치할 수 있지만, 이 경우 Beta 기능들을 사용할 수 없어져서 채팅 히스토리를 OFF 하기가 쉽지 않습니다. 기업에서는 직원들의 보다 안전한 ChatGPT 사용을 위해 Enterprise 사용이 권장됩니다.

2023년 9월

20. Adobe with Generative AI

Adobe 에서 생성형 AI 를 이용한 이미지 생성 도구인 Firefly의 3월 beta 공개 이후, 다양한 실험들을 거쳐 Photoshop 의 Generate Fill 기능과 같은 놀라운 기능들이 개발되어 Adobe 제품들에 광범위하게 생성형 AI 가 도입되고 있습니다. MS와 함께 기존 제품에 AI 를 잘 적용한 좋은 사례라고 생각이 듭니다.

21. OpenAI, ChatGPT에 새로운 음성 및 이미지 기능 출시

모바일에서 ChatGPT 앱을 통해 음성으로 대화하할 수 있는 기능이 추가되었으며, 이미지를 업로드하고, 이미지의 분석하는 기능이 출시되었습니다. 음성 기능의 경우 퀄리티가 상당히 좋습니다. Plus 유저들에게 우선 공개되었다가 현재는 무료 사용자들도 사용가능합니다.

이미지 분석 기능은 GPT-4 채팅에서 사용 가능하며, 이미지에 대한 놀라운 분석 결과를 보여줍니다. Microsoft 에서 공개한 논문을 통해 다양한 활용 사례들을 참고해 볼 수 있습니다.

2023년 10월

22. MistralAI - 놀라운 성능의 Apache 2.0 라이선스 LLM 모델 등장

Mistral 7B는 사용 제한도 없는데다가 성능까지도 획기적으로 올라간 벤치마크도 공개했습니다.

비슷한 매개변수를 가진 Llama2 7B를 뛰어넘어, 보다 더 큰 규모의 Llama 2 13B 도 아닌 Llama 34B와 동등한 수준으로 공개되었습니다. OLlama 를 통해 MAC 로컬 환경에서도 돌려볼 수 있습니다.

그리고 12월에는 Mistral 팀에서 희소성(sparse) 전문가 혼합 모델(SMoE) 인 Mixtral 8x7B 을 출시했습니다. Llama 2 70B 모델을 넘어 GPT-3.5 175B 를 앞서는 성능을 보여주고 있어 화제입니다.

23. 생성형 AI 강좌들

Microsoft 에서 생성형 AI 를 이용하여 개발을 시작해보고 싶은 개발자들을 대상으로 강좌를 GitHub에 공개했습니다. 총 12강으로 구성되어 있으며, AI 응용 개발입문에 필요한 내용을 담고 있습니다.

Google에서도 개발자를 위한 생성형 AI 학습 코스 및 Gen AI Bootcamp 강좌를 공개했습니다.

그리고 DeepLearning.AI에도 지난 프롬프트 강좌에 이어 LangChain 강좌가 추가되었습니다. 

2023년 11월

24. Runwayml, Gen-2 업데이트

11월 2일 Runwayml 에서 Gen-2 의 업데이트 소식을 알렸습니다. 이전에 비해 생성된 영상의 퀄리티가 획기적으로 개선이 되었습니다.

25. xAI AI 모델 Grok 발표

일론 머스크가 이끄는 xAI가 소규모 테스트를 시작으로 그록(Grok)이라 불리는 언어 모델을 공개했습니다. X 프리미엄 사용자 대상으로 서비스를 오픈했습니다. 

참고로 ai 닷컴 도메인이 올해 초에는 ChatGPT, 중반에는 Bard 로 바뀌었다가 지금은 Grok 로 지정되어 있군요. 

26. OpenAI DevDay

GPT-4 Turbo 출시 및 GPT-4V, DALL-E 3, TTS, Whisper 등 새로운 API 들의 추가를 공개했습니다. AssistantAPI 를 공개하였으며, API 비용도 저렴해졌습니다. 특히 GPTs 를 공개하며, 조만간 GPTs Store 출시도 예고했습니다. 저작권 침해와 관련하여 법적 소송을 당할 경우 OpenAI가 직접 나서서 고객을 보호하고 발생한 비용을 지불하는 저작권 실드를 도입함을 밝히기도 했습니다.

GPTs 데모 시연을 통해 많은 가능성을 보여기도 했습니다.

27. OpenAI, CEO이자 ChatGPT의 상징과 같던 샘 알트만이 해고되었다가 복귀했습니다.

OpenAI 이사회의 결정으로 샘 알트만이 해고되었다가, 5일만에 복귀했습니다. 이 과정에서 많은 일들이 일어났는데 그 결과 이사회가 전격 교체되고, "OpenAI는 이번 계기를 통해서 발목에 차고 있던 모래주머니를 벗어내고 더욱 더 빨리 달릴 수 있는 발판을 마련하지 않았나" 싶습니다.

28. Stable AI, SDXL Turbo 출시

Stable AI 에서 실시간 텍스트-이미지 생성 모델을 공개했습니다. 텍스트를 입력 하자마자 이미지가 생성되는 놀라운 기능입니다. SDXL Turbo는 새로운 증류 기술로 최첨단 성능을 달성하여 전례 없는 품질의 단일 단계 이미지 생성을 가능하게 하고 필요한 단계 수를 50개에서 단 1개로 줄였습니다.

2023년 12월

29. Google, GPT를 넘어선 Gemini 시대가 열렸습니다.

Google 에서 Gemini 를 전격 공개했습니다.

Gemini는 처음부터 멀티모달로 구축되었기 때문에 텍스트, 코드, 오디오, 이미지, 동영상 등 다양한 유형의 정보를 일반화하고 원활하게 이해하며, 여러 정보에 걸쳐 작동하고 결합할 수 있다고 합니다.

Gemini는 3가지 사이즈로 제공되며, 온디바이스를 위한 Nano 버전, GPT-3.5 수준의 Bard 에 적용된 Pro 버전. GPT-4 수준의 Ultra 버전이 있으며, Ultra 버전은 내년초에 공개 예정입니다.

상호 작용하는 데모 영상이 바이럴을 타면서 많은 사람들의 기대를 매우 높였는데요

아쉽게도 이것은 실시간으로 영상을 분석하며 답변한 것이 아니라 이미지 스냅샷으로 프롬프트를 작성하여 응답을 받은 제작 과정이 있었다고 합니다.

현재는 API 도 공개되었습니다.

30. 소규모 대형 언어 모델의 등장

2023년에는 디코더 스타일 변환기가 등장했으며 매달, 매주 또는 심지어 매일 새로운 사전 훈련된 모델이 출시되었습니다. 2월에는 LLaMA(Meta 제공), 4월에는 Pythia(Eleuther AI 제공), 5월에는 MPT(MosaicML 제공) , 6월에는 X-GEN(Salesforce 제공), Falcon(TIIUAE 제공), 7월에는 Llama 2(Meta 제공)가 출시되었습니다. 9월에는 Qwen(Alibaba 제공) 및 Mistral(Mistral.AI 제공), 11월에는 Yi(01-ai 제공), 12월에는 DeciLM(Deci 제공), Phi-2 및 SOLAR(Upstage 제공)이 출시되었습니다.

올해 정말 많은 일들이 있어서 정리하기가 너무 어려웠습니다.

돌이켜보면서 내년을 대비하는데 도움이 되셨길 바랍니다~