드디어 파인튜닝한 모델을 gguf로 변환 하고 ollama에서 테스트 하는 과정까지 왔다. 이번 블로그는 크게 3가지로 나뉠수 있다.

1. 파인튜닝

2. gguf 변환

3. ollama 테스트

여기까지 오면서 많은 분들의 블로그와 유튜브를 참고 했으며 테디님과, hk code 님, 정우일님께 많은 감사의 인사를 ㅎㅎㅎ

이제 앞으로는 법률 데이터를 잘 정제 해서 파인튜닝 고도화 하는것과, vllm 을 사용하는 방법에 대한 블로그를 해보면 될듯하다.

https://unfinishedgod.netlify.app/2024/06/15/llm-unsloth-gguf/