[LLM] llama3.1을 vllm API를 통해 서빙해보자. (feat. FastAPi) - 미완성의신
unfinishedgod.netlify.app
llama3.1을 vllm API를 통해 서빙 feat. FastAPI
최근에 Llama3.1이 공개 되었다. 그래서 이번에는 Llama3.1 사용하는 방법과 vllm에서 이를 서빙하는 방법에 대해 알아보려고 한다.
현재까지도 vllm을 api로 서빙 하려고 하는데 GPU 자원이 부족한다. 조금 더 알아봐야 겠지만 runpod에서 gpu 16GB 4개를 엮어서 쓸수 있는 방법을 찾아보자.
https://unfinishedgod.netlify.app/2024/07/26/llm-llama3-1-vllm-api-feat-fastapi/
![[LLM] llama3.1을 vllm API를 통해 서빙해보자. (feat. FastAPi) - 미완성의신](/_next/image?url=%2F_next%2Fstatic%2Fimages%2Fimg_thumbnail-dummy-92d899b3f046a7845ef0e057ec1479c8.png&w=384&q=75)
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 7월 26일 오후 5:20
댓글 0
함께 읽은 게시물
데이터 과학자가 따라야 하는 7가지 원칙
훌
... 더 보기
해외 취업이 목표라면 지금부터 알아둬야 할 20가지 자료
1️⃣ 취업 루트 및 경험담
01. 미국 취업 루트: https://careerly.co.kr/comments/51260
02. 캐나다 취업 허가증 수령 경험담: https://careerly.co.kr/comments/56992
03. 미국 이민/해외 취업 준비 중이라면 꼭 알아야 하는 것: https://careerly.co.kr/comments/56991
04. 실리콘 밸리 개발자의 7가지 찰랜지: https://careerly.co.kr/comments/72236
05. 미국 생활하면서 가장 힘들었던 점: https://careerly.co.kr/comments/52097
06. 미국 취업 비자, 4월이 가장 절망적일 수 있는 이유: https://careerly.co.kr/comments/54680
2️⃣ 영어관련 자료
01. 개발자에게 필요한 영어 실력: https://careerly.co.kr/comments/56961
02. 영어 공부팁: https://careerly.co.kr/comments/60926
03. 영어 독해 공부법: https://careerly.co.kr/comments/67571
3️⃣ 면접... 더 보기
Product Designer 그리고 Frontend(RN App) 혹은 Backend Engineer(Python/TS)를 곧 모셔야할 듯.. 요즘은 어디로 가야 좋은 분들을 만날 수 있으려나요. 디자인과 개발을 즐기는 사람이라면 경력자가 아니어도 괜찮은데..
•
조회 3,109
