Top 5 AI Models YOU Can Run Locally on YOUR Device! 🤯
DEV Community
AI 서비스를 제공하는 대부분의 회사는 AI 모델을 직접 실행하기보다는 AI API를 사용합니다. 결국, GPT-4와 Claude-3.5-Sonnet은 최고 품질의 AI 모델 중 하나이지만 OpenAI와 Anthropic(Claude) 모두 이러한 모델을 오픈 소스로 공개하지 않았기 때문에 로컬에서 실행할 수 없습니다. 그래서, 보안, 안정성, 프라이버시, 편이성 측면에서 로컬에서 AI모델을 실행하는 것도 방법에 하나입니다. 이런 경우 유용한 5가지 AI 모델을 소개합니다.
1. Nous Hermes 2 Mistral DPO
파일 크기: 3.83 GB
RAM 필요 용량: 8GB
양자화: q4_0(구형 시스템에 적합)
매개변수: 70억개
상당히 빠르고, 파인튜닝
2. Small or Old Devices: Qwen2-1.5B-Instruct
파일 크기: 0.89GB
RAM 필요: 4GB
양자화: q4_0
매개변수: 15억개
3. Llama 3 8B Instruct
파일 크기: 4.34GB
RAM 필요 용량: 8GB
정량화: q4_0
매개변수: 80억개
고품질의 학습데이터
4. Mini Orca (Small)
파일 크기: 1.84GB
RAM 필요: 4GB(구형 시스템에 적합)
정량화: q4_0
채팅모델보다 정보 제공 모델로 추천
5. Mistral Instruct
파일 크기: 3.83 GB
RAM 필요 용량: 8GB
정량화: q4_0
상업적으로 사용 가능한 라이선스, 윤리적 제한이 없음
source: https://dev.to/best_codes/5-best-ai-models-you-can-run-locally-on-your-device-475h?context=digest
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 9월 19일 오전 8:56
어
... 더 보기1. 엔터테인먼트 프로덕트의 본질은 콘텐츠다. 사용자는 콘텐츠를 소비하며 감정을 느낀다. 재미, 감동, 공포, 희열. 인간의 다양한 감정이 콘텐츠를 통해 꺼내진다.