로컬 머신에서 무료로 사용하는 LLM - ollama

ollama(오라마)는 개인의 PC에서 LLM모델을 실행시킬수 있게 도와주는 프로그램입니다.

이미 무료로 사용할 수 있는 LLM모델은 지금도 많이 있고, 허깅페이스에서 찾아볼 수 있습니다.

그러나 그걸 사용하려면, 모델을 다운받고 여러가지 설정들을 하는 등 번거로운 작업이 많이있죠.


ollma는 이러한 불편한 점을 해결해줍니다.


아직 리눅스와 맥(m1계열)만 지원합니다. windows추후 지원 예정이라고합니다.


맥의 경우는 ollma를 다운로드 받고 (https://ollama.ai/download)

압축을 풀고, 실행을 하고 `ollama run llama2` 을 실행하면 끝입니다!


제가 파이썬 코드를 만들어달라고 요청해봤는데, 간단한것들은 잘이해하네요~


국내 회사인 업스테이지에서 만든 solar모델도 사용이 가능합니다.

`ollama run solar` 이렇게 하면됩니다. 참쉽죠?!


사용가능한 모델은 https://ollama.ai/library 에서 찾을 수 있습니다.


내년에는 무료 ChatGPT를 한글로 로컬에서 돌려볼 수 있을 수 도 있겠네요~

AI발전이 정말 대단하고 기대됩니다.


https://ollama.ai/

Download Ollama on macOS

Ollama

Download Ollama on macOS

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 12월 19일 오전 2:24

 • 

저장 12조회 2,306

댓글 0

    함께 읽은 게시물

    [미국 & 캐나다 IT 대기업 면접관의 팁]

    미국과 캐나다 IT 대기업 면접관으로 직접 활동하며 느낀 개발자들이 자주 하는 코딩 면접 실수를 공유해봅니다. 작년부터 현재까지 면접관으로서 모의 면접과 FAANG 온사이트 (파이널) 면접을 대략 70+ 시간 정도 봤습니다. 올봄까지 목표는 100+ 시간 인터뷰 본 후 데이터를 모아서 배운 점을 공유하는 게 목표인데요. 미국, 캐나다, 싱가포르 그리고 영국에 있는 회사에 면접 봤던 경험까지 포함해서 코딩 인터뷰 팁 4가지 공유합니다. 📌 첫 번째: 문제가 명확한가? 에지 케이스에 대해 물어보기 면접관들은 일부러 애매모호한 문제를 던집니다. 현직에서 항상 문제가 명확한 게 아닌 경우가 많기 때문에 스스로 잘 파해쳐 가는지를 테스트하기 위함입니다. 처음 문제를 듣자마자 문제 풀기부터 시작하는 지원자들이 많습니다. 저도 예전에 그런 실수를 많이 했었습니다. 하하... 이런 식으로 문제를 풀다가 면접관이 엣지 케이스를 언급하며 "이 경우에는 당신이 작성한 알고리즘이 어떻게 작동하지?"라고 되물으면 본인이 작성한 알고리즘이 틀렸다는 것을 발견하는 경우가 꽤 많습니다. 인터뷰 남은 시간은 15분, 이미 새 알고리즘을 쓰기... 더 보기

     • 

    저장 23 • 조회 1,724


    테드(TED) 강의장에 황소가 등장했다. <생각의 공유> 저자 리오르 조레프는 청중에게 황소 무게를 예측해 보라고 제안한다. 그러자 140㎏에서 3t까지 다양한 오답이 쏟아졌다.

    ... 더 보기

    왜 공동체에 집단 지성이 필요한가?

    기호일보 - 아침을 여는 신문

    왜 공동체에 집단 지성이 필요한가?

    매일의 루틴을 갖는다는 것

    ... 더 보기

    루틴이 있었던 시절

    K리그 프로그래머

    루틴이 있었던 시절

     • 

    댓글 1 • 저장 16 • 조회 4,582


    AI에게 코딩을 잘 시키려면 아주 정확하게 스펙을 줘야하는데(앞으로도 그럴 것), 스펙을 작성하는 것 보다 내가 코드를 쓰고 그걸로 스펙을 작성하라고 하는게 더 빠른게 문제..🫠



    < 진보는 조용히 오고, 파괴는 시끄럽게 온다 >

    1. 문제는 고쳐지고 사람들은 적응한다. 위협이 크면 해결책이 나올 동인도 똑같이 커진다.

    ... 더 보기