라마3-8b 자체 데이터로 파인튜닝하고 AWS 인퍼렌시아2에 배포하기😀

자체 데이터를 오픈소스 모델에 파인튜닝하여 GenAI 어플리케이션을 구현하고자 하는 고객들이 많이 있습니다. 그 고객들은 PoC를 거치시고 대부분 AWS를 선택해 주고 계십니다. 유사한 관심이 있는 분들을 위해 Gonsoo Moon 님께서 (AWS AIML Specialist SA) 아래와 같이 가이드 및 에셋을 만들어 주셨습니다. inf8.xlarge 에서 모델 컴파일을 했고, inf2.xlarge 에 모델 배포를 했습니다. 또한 컴파일 모델을 SageMaker Endpoint 에도 배포가 가능합니다. 참고가 되시길 바랄께요!

https://www.youtube.com/watch?v=ogwnmTC3tqc

240821 Korean Finetuning Llama 8B INF2

www.youtube.com

240821 Korean Finetuning Llama 8B INF2

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2024년 8월 22일 오전 7:36

댓글 0