의용님의 프로필 사진

의용

파인튜닝한 모델을 gguf로 변환하고 ollama에서 테스트

드디어 파인튜닝한 모델을 gguf로 변환 하고 ollama에서 테스트 하는 과정까지 왔다. 이번 블로그는 크게 3가지로 나뉠수 있다.

1. 파인튜닝

2. gguf 변환

3. ollama 테스트

여기까지 오면서 많은 분들의 블로그와 유튜브를 참고 했으며 테디님과, hk code 님, 정우일님께 많은 감사의 인사를 ㅎㅎㅎ


이제 앞으로는 법률 데이터를 잘 정제 해서 파인튜닝 고도화 하는것과, vllm 을 사용하는 방법에 대한 블로그를 해보면 될듯하다.


https://unfinishedgod.netlify.app/2024/06/15/llm-unsloth-gguf/

[LLM] unsloth를 사용한 파인 튜닝 및 GGUF 변환 - 미완성의신

unfinishedgod.netlify.app

[LLM] unsloth를 사용한 파인 튜닝 및 GGUF 변환 - 미완성의신

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2024년 6월 17일 오후 2:25

 • 

저장 4조회 1,330

댓글 0

    함께 읽은 게시물


    ✍️ 오늘은 PM이 읽어볼만한 책을 한 권 소개해드릴까 해요. 스스로의 동기부여가 어려운 분들이나, 동료를 설득해야되는 PM이나, 조직에 자발적 활력을 만들어내고 싶은 조직장 모두가 읽어볼만한 책입니다. — 📖 <스타트 위드 와이: 나는 왜 이 일을 하는가> 🔖 이성적 범주에 속하는 WHAT은 WHY에서 느껴지는 감정을 겉으로 보여주는 근거 역할을 한다. 어떤 직감으로 결정을 내렸는지 말로 표현할 수 있고 자신의 WHY를 명확히 설명할 수 있으면 주변 사람들에게 결정을 내린 이유를 분명히 이해시킬 수 있다. 이 결정이 객관적인 사실이나 수치와 일관성을 이룬다면 근거은 더욱 타당해진다. 이것이 바로 균형이다. (129p) — PM으로 일하면서 가장 어려운 일이 무엇이냐고 물어보면, 대부분 why를 조직장이나 동료들에게 설득하는 과정을 원탑으로 꼽을 겁니다. 문제를 정확히 정의하고, 논리를 만드는 것도 어렵고, 그것을 말이나 글로 표현해 내는 것도 어렵죠. 그래서 프로젝트 문서에 정량적인 데이터 분석을 수반하고, 숫자를 통해 프로젝트의 공감대를 형성하려고 시도할 때가 생깁니다. 하지만 Why에 대해 본인이 충... 더 보기

    어려운 문제를 대하는 태도

    

    ... 더 보기

    《Simple Truth》

    ... 더 보기

    Next.js 까보기: "쓸 줄 아는 개발자"에서 "알고 쓰는 개발자로" 강의를

    ... 더 보기

    Next.js 까보기: "쓸 줄 아는 개발자"에서 "알고 쓰는 개발자"로

    www.productengineer.info

    Next.js 까보기: "쓸 줄 아는 개발자"에서 "알고 쓰는 개발자"로

     • 

    저장 8 • 조회 756


    예제로 뿌수는 코틀린 Kotlin 프로그래밍 76제

    안드로이드 네이티브 앱 개발의 표준 언어이자, 최근 백엔드 개발에도 공격적으로 활용되고 있는 코틀린 프로그래밍 언어를 다양한 예제를 통해 배울 수 있는 온라인 학습 사이트를 공개합니다. 코틀린 공식 홈페이지에 있는 Kotlin By Example이라는 자료는 편역해서 구성했어요. 저는 NHN에 근무할 때 코틀린을 백엔드 API서버 개발에 활용한 경험이 있는데, 자바로 개발할 때보다 훨씬 편하고 즐거웠던 게 기억에 남았습니다. 코틀린을 배우시려거나, 이미 쓰고 있는데 궁금한 점이 많으셨던 분들에게 유용한... 더 보기

    예제로 격파하는 코틀린

    Hatemogi

    예제로 격파하는 코틀린

     • 

    저장 42 • 조회 2,406