Llama 를 파인튜닝 해보자.

최근에 Llama 모델을 파인튜닝 해서 모델의 성능을 높여야하는 과제가 있어서,

다양한 자료를 찾아보았습니다.


그런데 대부분의 경우 잘 실행되지 않았고, 알 수 없는 에러로 저를 고생시키기만 했습니다.

그러다가 아래 링크에 있는 내용들을 보고 성공했습니다.


그리고 이를 바탕으로 해서 Llama-70B 모델도 파인튜닝을 할 수 있는 코드를 작성하기도 했습니다.


파인튜닝에 관심있는 분에게 추천드립니다.


https://naakjii.tistory.com/138

Llama-3.2-1B-Instruction 모델 파인튜닝하기

NJSUNG BLOG

Llama-3.2-1B-Instruction 모델 파인튜닝하기

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2024년 12월 16일 오전 6:23

댓글 0

    함께 읽은 게시물

    학습 속도 끌어올려 취업하기

    코딩 학습 속도를 끌어 올릴 수 있는 방법에 관해 설명하는 영상 내용을 중요한 부분만 정리해서 공유합니다. 1️⃣ 파이썬으로 공부 시작하기 파이썬은 입문하기 쉬운 프로그래밍 언어다. 코딩을 포기하는 이유 중 하나는 잘못된 프로그래밍 언어로 배우기 시작하기 때문이다. C 언어를 먼저 배우는 게 좋다는 사람도 있지만 입문자가 이해하기 어려운 언어 개념이 많다. 코딩 배울 때는 '프로그래밍 언어'를 이해하는 게 아니라 '코딩 하는 법‘을 먼저 이해하는 것이 중요하다. 2️⃣ 사이드 프로젝트하기 사이드 프로젝트하... 더 보기

    FASTEST Way to Learn Coding (for FREE) and ACTUALLY Get a Job

    www.youtube.com

    FASTEST Way to Learn Coding (for FREE) and ACTUALLY Get a Job

     • 

    저장 151 • 조회 7,916


    AI들 코딩 스타일이, GPT는 구글같고, Claude는 메타같음. Gemini는 부트캠프..🫢


    그래서 응용레벨 코딩에는 Claude가 낫고, 로우레벨 코딩에는 GPT가 나은 편.


    * 당연하지만 개인적인 느낌일 뿐 입니다.


    99%가 코딩 공부를 실패하는 이유

    코딩 배울 때 피해야 할 공부법과 해결책 글을 읽고 핵심을 간략하게 정리해서 제 생각과 함께 공유합니다. 1️⃣ 튜토리얼에 의존하게 되는 경우 처음 배울 때 튜토리얼을 찾아서 샘플 어플도 따라 만들어 본다. 그후에 혼자서 스스로 어플을 만들려면 머릿속이 백지처럼 변한다. 마치 안 배웠던 것처럼 까먹고 무엇을 어디서부터 어떻게 시작해야 하는지 모른다. 튜토리얼만 무조건 따라 한다고 기술을 습득할 수 있는 건 아니다. 튜토리얼을 따라 하면서 중요한 것은 관련 지식을 '내 것'으로 만드는 것이다. 관련 지식을 내 것으... 더 보기

    Why 99% of People Fail to Learn to Code

    Medium

    Why 99% of People Fail to Learn to Code

     • 

    댓글 2 • 저장 77 • 조회 5,901


    AI 시대, 데이터 분석에 대해 새롭게 정의해야 하는 이유

    AI 시대를 맞이하면서 우리는 다양한

    ... 더 보기

    클로드 코드 Max 한 달 사용 후기

    ... 더 보기

    클로드 코드 한 달 사용 후기

    K리그 프로그래머

    클로드 코드 한 달 사용 후기

     • 

    댓글 2 • 저장 7 • 조회 2,254