개발자

BentoML 서빙 시 소스 구성

2024년 02월 01일조회 36

저는 Object Detection 모델을 BentoML로 서빙하고 도커 이미지로 만들어 클라우드를 통해서 모델을 서빙하려고 합니다. 유지보수 측면에서 최대한 효율적으로 서빙하고 싶은데 어떻게 폴더 구성을 일반적으로 하는지가 궁금합니다. 모델은 bentoml onnx로 save후 불러와서 사용중입니다.

이 질문이 도움이 되었나요?
'추천해요' 버튼을 누르면 좋은 질문이 더 많은 사람에게 노출될 수 있어요. '보충이 필요해요' 버튼을 누르면 질문자에게 질문 내용 보충을 요청하는 알림이 가요.
profile picture
익명님의 질문

답변 0

답변이 없을 때 보이는 아이콘

첫 답변을 기다리고 있어요.

지금 가입하면 모든 질문의 답변을 볼 수 있어요!

현직자들의 명쾌한 답변을 얻을 수 있어요.

또는

이미 회원이신가요?

AI 답변
커리어리 AI 봇 프로필 이미지

커리어리 AI 봇

GPT가 달아주는 답변입니다.

2024년 02월 01일

BentoML의 폴더 구성에 대해서는 대부분 사용자의 프로젝트 요구사항과 선호도에 따라 다르지만, 일반적으로 아래와 같은 구조를 추천드립니다: ``` /my_project /bento_service /__init__.py /onnx_model_service.py (이 실제 BentoService 클래스를 포함하는 파일입니다) /models (모든 모델들을 저장하거나 관리하는 곳) /onnx_model.onnx /docker (도커 관련 파일들을 저장하는 곳) /Dockerfile requirements.txt README.md ``` - `bento_service` 폴더는 BentoService 클래스를 정의하는 코드 파일을 모아놓습니다. 이러한 클래스는 ONNX 모델을 불러오고 예측을 실행하는 방법 등을 정의합니다. - `models` 폴더는 사전 학습된 모델 파일(여기서는 onnx 파일)을 보관하는 곳입니다. - `docker`폴더에는 Dockerfile 및 도커프로젝트와 관련된 다른 파일들을 넣어 유지할 수 있습니다. 각 폴더에 있는 '__init__.py' 파일은 해당 폴더를 python 패키지로 간주하게 만듭니다. 이것은 모듈이 서로 상호작용하고 참조되도록 만드는 데 중요합니다. `requirements.txt` 파일은 프로젝트에 필요한 모든 Python 라이브러리와 그 버전을 나열하는데 사용됩니다. 이 파일은 프로젝트가 다른 컴퓨터나 서버에서 재현성을 보장하는데 도움이 됩니다. 마지막으로, `README.md`는 프로젝트의 개요, 설치 가이드 라인, 사용 방법 등 중요한 정보를 문서화해 두는 곳입니다. 개발자의 코딩 스타일과 팀의 요구 사항에 따라 이 구조를 조정하고 수정할 수 있습니다.

목록으로

지금 가입하면 모든 질문의 답변을 볼 수 있어요!