GitHub - oglee815/mygpt-lecture: 나만의 데이터로 만드는 ChatGPT(MyGPT) 강의 코드
GitHub
<고우영님의 나만의 GPT 만들기 실습 코드 공개>
커리어리 친구들, 그동안 초거대 언어 모델에서 imstruction finetuning을 어땋게 하는지 궁금한 분들은 아래의 링크에 들아가시면 쉽게 이해하실 수 있습니다.
바로 고우영님이 공개해 주셨는 데, 코드를 기반으로 만든 사내 강의용 RLHF 코드로 agenda 는 다음과 같습니다.
🧚♂️ 수강생 각자가 원하는 도메인 선택(ex. 아이브)
🧚♂️ 각자가 원하는 도메인 데이터로 사전학습
🧚♂️ 원하는 도메인에 대해서 SFT 진행(ChatGPT 로 데이터 생성)
🧚♂️ PPO 실습(Lunar Lander2)
🧚♂️ 각자가 원하는 도메인에 대한 Reward 모델 학습(ChatGPT 로 데이터 생성)
🧚♂️ PPO 학습
🕹️ 실습 코드: https://github.com/oglee815/mygpt-lecture/tree/main
🕹️ 실습에 쓰일 사전학습 모델을 위해 skt-kogpt2 에 kullm-v2를 학습해서 허깅페이스에 올려놨어요~!!
https://huggingface.co/hyunjae/skt-kogpt2-kullm-v2
다음 내용이 궁금하다면?
이미 회원이신가요?
2023년 8월 31일 오전 1:06
댓글 0
함께 읽은 게시물
품질 높은 프로젝트는 어떻게 만들어질까? 🤔
안
... 더 보기
🤏 백엔드 개발에 도움되는 학습 도서 📚
많은 분들께서 긱뉴스에서 공개한 무료 학습 자료를 공유해주셨는데요, 저는 그중에서 백엔드 개발에 도움되는 도서는 어떤게 있을지 골라보았습니다.
제가 하고있는 업무와 연관이 있는 도서들을 골라본거라 모든 백엔드 개발자가 반드시 배워야 한다는 아니지만, 적어도 배워두면 써먹을 수 있다는 수준으로 이해해 주세요 🙏
✔️ Java (https://github.com/EbookFoundation/free-programming-books/blob/main/books/free-programming-books-ko.md#java)
Java 는 현재 매우 인기있는 백엔드 개발 언어입니다. 특히 대량의 트래픽을 대응하거나 다양한 솔루션과의 연계를 위해 많은 회사에서 Java 를 사용하고 있습니다.
점프 투 자바는 이런 Java 의 기초적인 내용을 학습하기 좋은 도서로 저도 많은 도움을 받았던 도서입니다.
✔️ Git (https://github.com/EbookFoundation/free-programming-books/blob/main/books/free-programming-books-ko.md#git)
이건 사실 백... 더 보기
"배포했으면 스펙이지"
어떤 서비스가 버그를 가진채로 출시되었고, 사용자들이 그 버그를 전제로 기능을 사용하고 있다면, 그리고 그 위로 너무 많은 새로운 기능들이 쌓여있다면 그건 버그가 아니라 스펙(기능)이라는, 언젠가부터 들었던 업계의 유명한 블랙 유머다.
... 더 보기데이터 이력서 템플릿 + 작성 가이드를 사용해보세요.
점
... 더 보기-
Swift 컴파일이 느리다면?
S
... 더 보기
