Llama 를 파인튜닝 해보자.

최근에 Llama 모델을 파인튜닝 해서 모델의 성능을 높여야하는 과제가 있어서,

다양한 자료를 찾아보았습니다.


그런데 대부분의 경우 잘 실행되지 않았고, 알 수 없는 에러로 저를 고생시키기만 했습니다.

그러다가 아래 링크에 있는 내용들을 보고 성공했습니다.


그리고 이를 바탕으로 해서 Llama-70B 모델도 파인튜닝을 할 수 있는 코드를 작성하기도 했습니다.


파인튜닝에 관심있는 분에게 추천드립니다.


https://naakjii.tistory.com/138

Llama-3.2-1B-Instruction 모델 파인튜닝하기

NJSUNG BLOG

Llama-3.2-1B-Instruction 모델 파인튜닝하기

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2024년 12월 16일 오전 6:23

댓글 0