[Dev.to] 로컬로 실행할 수 있는 상위 5가지 AI 모델!

AI 서비스를 제공하는 대부분의 회사는 AI 모델을 직접 실행하기보다는 AI API를 사용합니다. 결국, GPT-4와 Claude-3.5-Sonnet은 최고 품질의 AI 모델 중 하나이지만 OpenAI와 Anthropic(Claude) 모두 이러한 모델을 오픈 소스로 공개하지 않았기 때문에 로컬에서 실행할 수 없습니다. 그래서, 보안, 안정성, 프라이버시, 편이성 측면에서 로컬에서 AI모델을 실행하는 것도 방법에 하나입니다. 이런 경우 유용한 5가지 AI 모델을 소개합니다.


1. Nous Hermes 2 Mistral DPO

  • 파일 크기: 3.83 GB

  • RAM 필요 용량: 8GB

  • 양자화: q4_0(구형 시스템에 적합)

  • 매개변수: 70억개

  • 상당히 빠르고, 파인튜닝


2. Small or Old Devices: Qwen2-1.5B-Instruct

  • 파일 크기: 0.89GB

  • RAM 필요: 4GB

  • 양자화: q4_0

  • 매개변수: 15억개


3. Llama 3 8B Instruct

  • 파일 크기: 4.34GB

  • RAM 필요 용량: 8GB

  • 정량화: q4_0

  • 매개변수: 80억개

  • 고품질의 학습데이터


4. Mini Orca (Small)

  • 파일 크기: 1.84GB

  • RAM 필요: 4GB(구형 시스템에 적합)

  • 정량화: q4_0

  • 채팅모델보다 정보 제공 모델로 추천


5. Mistral Instruct

  • 파일 크기: 3.83 GB

  • RAM 필요 용량: 8GB

  • 정량화: q4_0

  • 상업적으로 사용 가능한 라이선스, 윤리적 제한이 없음


  • source: https://dev.to/best_codes/5-best-ai-models-you-can-run-locally-on-your-device-475h?context=digest


Top 5 AI Models YOU Can Run Locally on YOUR Device! 🤯

DEV Community

Top 5 AI Models YOU Can Run Locally on YOUR Device! 🤯

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2024년 9월 19일 오전 8:56

 • 

저장 13조회 1,765

댓글 0

    함께 읽은 게시물

    🗞️ 간밤에 구글이 Gemini 2.5 Pro를 출시했는데요. 벤치마크 상으로는 GPT-4.5와 Claude 3.7 의 성능을 크게 뛰어넘는 결과를 보여줍니다. 특히 코딩능력이 매우 크게 향상되었는데요.

    ... 더 보기

     • 

    저장 8 • 조회 2,585


    👋 굿바이 Styled Components 🥹

    S

    ... 더 보기

    Thank you - styled-components

    opencollective.com

    Thank you - styled-components

     • 

    저장 19 • 조회 2,086


    다만 지난해 영업이익은 2023년 89억원에서 86억원으로 소폭 감소했다. 2023년 241억원 수준이었던 영업비용이 지난해 500억원 이상으로 급증한 영향이 컸다.

    ... 더 보기

    [단독] ‘무인 주문기 시장 1위’ 티오더, 경영권 매각 추진… 몸값 3000억 이상 기대

    조선비즈

    [단독] ‘무인 주문기 시장 1위’ 티오더, 경영권 매각 추진… 몸값 3000억 이상 기대

    지금 하고 있는 일을 사랑하는 이유 중 하나는 하는 일의 특성상 경제와 기업의 움직임을 미리 예상해볼 수 있다는 점이다.

    ... 더 보기

    작년 CVC투자 어땠나…대기업 급감할 때 중견기업은 늘어 - 매일경제

    매일경제

    작년 CVC투자 어땠나…대기업 급감할 때 중견기업은 늘어 - 매일경제

    유저 리서치와 AI, 실무자 인사이트 엿보기 : 레드버스백맨

    ... 더 보기

    🎙️ 유저 리서치와 AI, 실무자 인사이트 엿보기 : 레드버스백맨

    팁스터

    🎙️ 유저 리서치와 AI, 실무자 인사이트 엿보기 : 레드버스백맨

     • 

    댓글 2 • 저장 2 • 조회 339


    < '파블로프의 조건 반사'에서 벗어나라 >

    1

    ... 더 보기