[LLM] llama3.1을 vllm API를 통해 서빙해보자. (feat. FastAPi) - 미완성의신
unfinishedgod.netlify.app
llama3.1을 vllm API를 통해 서빙 feat. FastAPI
최근에 Llama3.1이 공개 되었다. 그래서 이번에는 Llama3.1 사용하는 방법과 vllm에서 이를 서빙하는 방법에 대해 알아보려고 한다.
현재까지도 vllm을 api로 서빙 하려고 하는데 GPU 자원이 부족한다. 조금 더 알아봐야 겠지만 runpod에서 gpu 16GB 4개를 엮어서 쓸수 있는 방법을 찾아보자.
https://unfinishedgod.netlify.app/2024/07/26/llm-llama3-1-vllm-api-feat-fastapi/
![[LLM] llama3.1을 vllm API를 통해 서빙해보자. (feat. FastAPi) - 미완성의신](/_next/image?url=%2F_next%2Fstatic%2Fimages%2Fimg_thumbnail-dummy-92d899b3f046a7845ef0e057ec1479c8.png&w=384&q=75)
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 7월 26일 오후 5:20
댓글 0
함께 읽은 게시물
고난이 사람을 키운다
태초에 모든 동물은 바다에서 살았다. 바다가 동물이 살기 좋은 환경이었던 것이다. 그런데, 동물 사이에 먹이 사슬이 형성되었고, 힘이 없는 동물들은 척박한 곳으로 밀려났다. 그곳이 바로 강이다. 처음에는 강에서 살기 힘들었지만, 성공적으로 적응하는 동물들이 생겨났고, 그래서 강에도 생태계가 형성되었다.
... 더 보기컬리의 성장에 ‘마케팅 캠페인’은 어떤 역할을 했을까?
안
... 더 보기
