로컬 머신에서 무료로 사용하는 LLM - ollama

ollama(오라마)는 개인의 PC에서 LLM모델을 실행시킬수 있게 도와주는 프로그램입니다. 이미 무료로 사용할 수 있는 LLM모델은 지금도 많이 있고, 허깅페이스에서 찾아볼 수 있습니다. 그러나 그걸 사용하려면, 모델을 다운받고 여러가지 설정들을 하는 등 번거로운 작업이 많이있죠. ollma는 이러한 불편한 점을 해결해줍니다. 아직 리눅스와 맥(m1계열)만 지원합니다. windows추후 지원 예정이라고합니다. 맥의 경우는 ollma를 다운로드 받고 (https://ollama.ai/download) 압축을 풀고, 실행을 하고 `ollama run llama2` 을 실행하면 끝입니다! 제가 파이썬 코드를 만들어달라고 요청해봤는데, 간단한것들은 잘이해하네요~ 국내 회사인 업스테이지에서 만든 solar모델도 사용이 가능합니다. `ollama run solar` 이렇게 하면됩니다. 참쉽죠?! 사용가능한 모델은 https://ollama.ai/library 에서 찾을 수 있습니다. 내년에는 무료 ChatGPT를 한글로 로컬에서 돌려볼 수 있을 수 도 있겠네요~ AI발전이 정말 대단하고 기대됩니다. https://ollama.ai/