오픈AI가 ChatGPT를 출시한 후 지난 10개월 동안 대규모 언어 모델 기반 애플리케이션(Large language model-based applications)이 큰 인기를 끌었습니다. 그 이후로 많은 회사와 스타트업이 LLM을 기반으로 하는 애플리케이션(App)과 제품을 출시하고 있습니다. 하지만 GPT4 등 상업적 용도로 사용 가능한 LLM을 사용하는 것은 장기적으로 비용이 매우 많이 들 수 있고, 이에 대한 대안으로 오픈 소스 LLM이 있습니다. 이번 공유 기사는 차기(Next) LLM 기반 App에 사용할 수 있는 가장 강력한 오픈 소스 LLM TOP 10에 대한 기사입니다. <차기 LLM 애플리케이션에 사용할 오픈소스 LLM TOP 10> 1. LLaMA - 70억에서 650억 개의 파라미터에 이르는 다양한 크기의 다양한 언어 모델로 구성 - 공개적으로 사용 가능한 데이터 세트만 사용하여 수백만 개의 토큰에 대해 학습됨 - LLaMA-13B 모델은 GPT-3(175B)보다 성능이 좋은 반면, LLaMA-65B는 Chinchilla-70B, PaLM-540B.3,7B 등 최상위 모델과 동등한 성능을 보임 > License: Apache 2.0 > Release Date: May 5, 2023 > Github: https://github.com/openlm-research/open_llama 2. Falcon - Falcon AI(주로 Falcon LLM 40B)는 UAE의 기술 혁신 연구소(TII)에서 출시한 LLM임 - 40B는 이 LLM에서 사용되는 400억 개의 매개변수를 나타냄 - TII는 심지어 15000억 개의 토큰에 대해 훈련된 70억 개의 매개변수 모델인 7B를 개발함 - Falcon LLM 40B 모델은 RefinedWeb의 1조 토큰에 대해 학습되었음 - 이 LLM이 다른 LLM과 다른 점은 이 모델이 투명하고 오픈 소스라는 점임 - 자동 회귀 디코더 전용 모델이며, Falcon AI의 학습은 384개의 GPU가 연결된 AWS 클라우드에서 2개월 동안 지속적으로 진행됨 - 사전 학습 데이터는 주로 공개 데이터로 구성되었으며 연구 논문 및 소셜 미디어 대화에서 가져온 데이터 소스는 거의 없다고 함 3. Dolly - Dolly 2.0은 Databricks의 LLM - EleutherAI Pythia 모델 제품군(family)을 기반으로 하며 인간이 생성한 고품질 명령 데이터 세트로 파인튜닝(fine-tuned)됨 - Dolly 2.0은 상업적 용도로 사용 가능하며 요약, 콘텐츠 생성, 질문 답변 등 다양한 작업에 사용 가능 > License: Apache 2.0 > Release Date: Apr 12,2023 > Github: https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm 4. Guanaco - UW NLP 그룹의 Tim Dettmers 등이 개발한 LoRA라는 finetuning 방법을 사용하는 LLM - QLoRA를 사용하면 16비트 모델에 비해 성능 저하 없이 48GB GPU에서 최대 65B 매개변수 모델을 미세 조정할 수 있음 - Guanaco 모델 제품군은 Vicuna 벤치마크에서 이전에 출시된 모든 모델보다 성능이 뛰어남. 그러나 해당 모델은 LLaMA 모델 제품군을 기반으로 하기 때문에 상업적 사용이 허용됨 > License: MIT > Release Date: May 24, 2023 > Github: https://github.com/artidoro/qlora 5. Bloom - 프롬프트(prompt)에서 텍스트를 계속하고 완성하도록 학습되었기 대문에 본질적으로 텍스트를 생성하는 과정임(completion, generation, continue) - BLOOM은 46개 언어와 13개 프로그래밍 언어로 텍스트를 생성 가능하다고 함 > License: Apache 2.0 > Release Date: Apr 19,2023 > Github: https://github.com/bigscience-workshop/xmtf#models 6. Alpaca - Alpaca는 Meta의 LLaMA 7B 모델에서 미세 조정되었으며, text-davinci-003을 사용하여 자체 지시 스타일로 생성된 52K 지시에 따른 데모를 통해 학습됨 - Self-Instruct 평가 세트에서 Alpaca는 OpenAI의 text-davinci-003과 유사한 많은 동작을 보여 주지만 놀라울 정도로 작고 재현하기 쉽고 저렴하다고 함 > License: Apache 2.0 > Release Date: Mar 13, 2023 > Github: https://github.com/tatsu-lab/stanford_alpaca 7. OpenChatKit - OpenChatKit은 일반화되고 전문화된 챗봇 App을 생성할 수 있는 강력한 오픈 소스 도구 세트를 제공 - Together Computer는 소스 코드, 모델 가중치 및 훈련 데이터 세트가 포함된 Apache-2.0 라이센스에 따라 OpenChatKit 0.15를 출시함 8. GPT4ALL - GPT4All은 무료로 사용할 수 있는 챗봇 웹사이트 - 로컬에서 실행되며 개인 정보를 존중하므로 사용하기 위해 GPU나 인터넷 연결이 필수가 아님 - cunsumer-grade CPU에서 원활하게 실행 - 4GB GPT4All 모델을 다운로드하여 오픈 소스 GPT4All 에코시스템 소프트웨어와 연결할 수 있으며, Nomic AI는 안전하고 최고의 소프트웨어 생태계를 보장 > License: MIT > Release Date: Apr 24,2023 > Github: https://github.com/nomic-ai/gpt4all 9. Vicuna - Vicuna-13B는 ShareGPT에서 수집한 사용자 공유 대화에서 LLaMA를 미세 조정하여 학습된 오픈 소스 챗봇 - GPT-4를 심사위원으로 사용한 예비 평가에서는 Vicuna-13B가 OpenAI ChatGPT 및 Google Bard의 90%* 이상의 품질을 달성하는 동시에 90%* 이상의 사례에서 LLaMA 및 Stanford Alpaca와 같은 다른 모델을 능가하는 것으로 나타남 10. Flan-T5 - Flan-T5-XXL은 지침으로 표현된 데이터세트 모음에서 T5 모델을 미세 조정함 - 명령어 미세 조정을 통해 PaLM, T5, U-PaLM 등 다양한 모델 클래스의 성능이 획기적으로 향상더되었다고 함 - Flan-T5-XXL 모델은 더 많은 언어를 다루는 1000개 이상의 추가 작업에 대해 미세 조정되었음 > License: Apache 2.0 > Release Date: Apr 28,2023 > Github: https://github.com/lm-sys/FastChat#FastChat-T5 원본 기사 링크는 아래와 같습니다. 감사합니다🙏 [Source Link] https://pub.towardsai.net/top-10-open-source-llms-to-use-in-your-next-llm-application-fbfc51542b78