🔥#파인튜닝🔥 문서 기반 QA 데이터셋으로 파인튜닝🤖 진행 후 로컬에서 모델 추론하기
www.youtube.com
안녕하세요! 오늘은 Unsloth 를 활용한 llama3 "파인튜닝" 주제로 영상을 업로드 하였습니다.
링크: https://youtu.be/oZY0D8N6bC8
[주요내용]
문서기반 QA 데이터셋 생성(GPT-4)
QA 데이터셋을 jsonl 혹은 HuggingFace Hub 업로드
Unsloth 를 활용하여 LoRA 파인튜닝
파인튜닝된 모델을 로컬 저장/HuggingFace Repo 업로드
GGUF 양자화 (Q8) 모델 저장
LM Studio 로 GGUF 모델 로드 후 추론
감사합니다. 즐거운 저녁 되세요!
#파인튜닝 #unsloth #langchain
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 5월 27일 오전 10:43