의용님의 프로필 사진

의용

파인튜닝한 모델을 gguf로 변환하고 ollama에서 테스트

드디어 파인튜닝한 모델을 gguf로 변환 하고 ollama에서 테스트 하는 과정까지 왔다. 이번 블로그는 크게 3가지로 나뉠수 있다.

1. 파인튜닝

2. gguf 변환

3. ollama 테스트

여기까지 오면서 많은 분들의 블로그와 유튜브를 참고 했으며 테디님과, hk code 님, 정우일님께 많은 감사의 인사를 ㅎㅎㅎ


이제 앞으로는 법률 데이터를 잘 정제 해서 파인튜닝 고도화 하는것과, vllm 을 사용하는 방법에 대한 블로그를 해보면 될듯하다.


https://unfinishedgod.netlify.app/2024/06/15/llm-unsloth-gguf/

[LLM] unsloth를 사용한 파인 튜닝 및 GGUF 변환 - 미완성의신

unfinishedgod.netlify.app

[LLM] unsloth를 사용한 파인 튜닝 및 GGUF 변환 - 미완성의신

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2024년 6월 17일 오후 2:25

 • 

저장 4조회 1,120

댓글 0