[Dev.to] 로컬로 실행할 수 있는 상위 5가지 AI 모델!

AI 서비스를 제공하는 대부분의 회사는 AI 모델을 직접 실행하기보다는 AI API를 사용합니다. 결국, GPT-4와 Claude-3.5-Sonnet은 최고 품질의 AI 모델 중 하나이지만 OpenAI와 Anthropic(Claude) 모두 이러한 모델을 오픈 소스로 공개하지 않았기 때문에 로컬에서 실행할 수 없습니다. 그래서, 보안, 안정성, 프라이버시, 편이성 측면에서 로컬에서 AI모델을 실행하는 것도 방법에 하나입니다. 이런 경우 유용한 5가지 AI 모델을 소개합니다.


1. Nous Hermes 2 Mistral DPO

  • 파일 크기: 3.83 GB

  • RAM 필요 용량: 8GB

  • 양자화: q4_0(구형 시스템에 적합)

  • 매개변수: 70억개

  • 상당히 빠르고, 파인튜닝


2. Small or Old Devices: Qwen2-1.5B-Instruct

  • 파일 크기: 0.89GB

  • RAM 필요: 4GB

  • 양자화: q4_0

  • 매개변수: 15억개


3. Llama 3 8B Instruct

  • 파일 크기: 4.34GB

  • RAM 필요 용량: 8GB

  • 정량화: q4_0

  • 매개변수: 80억개

  • 고품질의 학습데이터


4. Mini Orca (Small)

  • 파일 크기: 1.84GB

  • RAM 필요: 4GB(구형 시스템에 적합)

  • 정량화: q4_0

  • 채팅모델보다 정보 제공 모델로 추천


5. Mistral Instruct

  • 파일 크기: 3.83 GB

  • RAM 필요 용량: 8GB

  • 정량화: q4_0

  • 상업적으로 사용 가능한 라이선스, 윤리적 제한이 없음


  • source: https://dev.to/best_codes/5-best-ai-models-you-can-run-locally-on-your-device-475h?context=digest


Top 5 AI Models YOU Can Run Locally on YOUR Device! 🤯

DEV Community

Top 5 AI Models YOU Can Run Locally on YOUR Device! 🤯

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2024년 9월 19일 오전 8:56

 • 

저장 13조회 1,775

댓글 0

    함께 읽은 게시물

    《적절히 달리기 위한 힘, 냉정함》

    ... 더 보기


    파이낸셜타임스(FT)는 2일(현지시간) 소식통들을 인용해 xAI가 현재 3억달러 주식 매각을 추진하고 있다면서 성공하면 기업가치가 1130억달러에 이르게 된다고 보도했다.

    ... 더 보기

    머스크 xAI 3억달러 주식 매각…기업가치 155조원 목표

    파이낸셜뉴스

    머스크 xAI 3억달러 주식 매각…기업가치 155조원 목표

    조회 618


    💥불안한 3040직장인을 위한 환승 이직 코칭!

    ... 더 보기

    괴물은 하루아침에 태어나지 않는다

    큰 것을 하는 것보다 매일 작은 것을 완벽하게 해내는 노력이 더 중요하다. 내가 성격 장애의 하나인 자기애성 성격장애자(NPD, Narcissistic Personality Disorder)를 만나면서 느낀 것은, 처음에는 그런 사람도 "정상인"처럼 느껴진다는 것이었다. 다만 그의 미친짓은 내가 매일매일 "사소한" 사건들로 상대방에게 익숙해졌을 때 발생한다.

    ... 더 보기

    기업에서 리더의 위치에 올랐다고 해서 모두 훌륭한 리더가 되는 것은 아니다. 기업을 이끄는 리더의 위치에 있는 사람치고 더 나은 실적을 목표로 하지 않는 경우는 없지만 말처럼 쉽지 않다. 더 나은 실적은 리더 혼자의 힘으로 이뤄지는 것이 아니기 때문이다.

    ... 더 보기

    [초점] '조직에 도움 안되는 나쁜 리더'의 5가지 공통점 - 글로벌이코노믹

    글로벌이코노믹

    [초점] '조직에 도움 안되는 나쁜 리더'의 5가지 공통점 - 글로벌이코노믹

    조회 220