쿠브플로우(Kubeflow)란?

쿠브플로우(Kubeflow)에 대해서 알아보는 시간입니다. 쿠브플로우 공식사이트(www.kubeflow.org)에 따르면, 쿠프블로우에 대해 아래와 같이 정의되어 있습니다. "The Kubeflow project is dedicated to making deployments of machine learning (ML) workflows on Kubernetes simple, portable and scalable. Our goal is not to recreate other services, but to provide a straightforward way to deploy best-of-breed open-source systems for ML to diverse infrastructures. Anywhere you are running Kubernetes, you should be able to run Kubeflow." "Kubeflow 프로젝트는 K8s에서 기계 학습(ML) 워크플로우를 간단하고 이식 가능하며 확장 가능하게 배포하는 데 전념하고 있습니다. 우리의 목표는 다른 서비스를 다시 만드는 것이 아니라 ML용 동급 최고(best-of-breed)의 오픈 소스 시스템을 다양한 인프라에 배포하는 간단한 방법을 제공하는 것입니다. K8s를 실행하는 모든 곳에서 Kubeflow를 실행할 수 있어야 합니다." 쿠브플로우는 K8s에서 Tensorflow Job을 효율적으로 사용하기 위한 고민에서 출발하였고, Tensorflow Extended Pipeline에서 시작되었다고 합니다. 그리고 2017년에 Google, Red Hat, CoreOS, Weave, CaiCloud의 개발자들이 모여서 오픈소스 프로젝트로 공개하였습니다. 쿠브플로우라는 용어는 2017년 12월에, 구글 엔지니어인 David Aronchick와 Vishnu Kannan이 KubeCon 행사에서 발표한 "'Hot Dogs or Not Hot Dog' at Scale - Kubernetes & Machine Learning"이라는 세션에서 처음 사용되었습니다. 해당 세션은 아래 YouTube 링크를 통해 확인하실 수 있습니다. https://www.youtube.com/watch?v=R3dVF5wWz-g 해당 세션을 요약해 보면 아래와 같습니다. - ML 비전문가들도 ML을 위한 솔루션 설치 등의 전문 지식 없이도 쉽게 ML 업무가 가능해야 한다. - ML 업무를 위해서는 composability(구성 가능성), portability(이식성), scalability(확장성)을 갖춘 플랫폼이 필수이다. 즉 ML 워크플로우를 쉽게 구현할 수 있고, 쉽게 유지보수가 가능해야 하고 필요 시 리소스를 쉽게 확장할 수 있어야 한다. - Composability, portability, scalability의 모든 기능을 갖춘 플랫폼이 바로 K8s이고 K8s와 ML을 결합한 솔루션이 바로 Kubeflow이다. - Kubeflow 데모 시연: Kubeflow의 구성요소인 Jupyter Notebook을 통해 모델을 생성하고 학습한 다음 Hot Dog 인지 아닌지 테스트해 보고, 이미 검증된 모델(ResNet)을 통한 테스트 데모 시연 쿠브플로우에 관심 있고 처음 시작하시는 분들은 35:13초짜리 해당 영상을 보시면 도움이 될 것 같습니다.