마신러닝 모델 배포

Question

안녕하세요
백엔드 주니어 개발자입니다. 
머신 러닝 배포 관련해서 여쭤볼 것이 있어 글 남겨요

저희 회사에서 현재 stable diffusion을 발전시킨 모델을 배포해서 실시간 이미지 렌더링 서비스를 출시중에 있습니다. 
다만 이미지 렌더링시 들어갈 리소스들(gpu 등)이 너무 많고 그 과정을 병렬처리하는데 어려움을 겪고 있는 중입니다. 
혹시 이 부분 관련해서 현재 다른 서비스 등에서 어떤 식으로 하는지 알 수 있을까요?

손정현 · Answer

안녕하세요!
실시간 이미지 렌더링 서비스를 구현해본적은 없지만, 백엔드에서 처리가 오래 걸리는 일이라는 관점에서 답변을 드리겠습니다.

실시간이라는 특성이 서비스에 중요한 요소인가요?
보통 이렇게 연산이 오래 걸리는 작업은 실시간이라는 특성을 포기하고 메세지 큐 형태로 비동기 호출을 한뒤, 작업이 완료되면 사용자에게 알려주는 방법을 자주 쓰는 것 같습니다.

실시간이 중요하다고 하면, 컴퓨팅 파워를 늘리거나 분산 처리가 가장 먼저 떠오르네요.
찾다보니 netflix에서 오픈소스로 공개한 metaflow라는 것이 있네요. 참고해보시면 좋을 것 같아요.
- https://danthetech.netlify.app/DataScience/basic-of-metaflow
- https://outerbounds.com/blog/parallelizing-stable-diffusion-production-use-cases/
- https://docs.metaflow.org/introduction/why-metaflow