Llama 를 파인튜닝 해보자.

최근에 Llama 모델을 파인튜닝 해서 모델의 성능을 높여야하는 과제가 있어서, 다양한 자료를 찾아보았습니다. 그런데 대부분의 경우 잘 실행되지 않았고, 알 수 없는 에러로 저를 고생시키기만 했습니다. 그러다가 아래 링크에 있는 내용들을 보고 성공했습니다. 그리고 이를 바탕으로 해서 Llama-70B 모델도 파인튜닝을 할 수 있는 코드를 작성하기도 했습니다. 파인튜닝에 관심있는 분에게 추천드립니다. https://naakjii.tistory.com/138