Red Hat이 MLOps 플랫폼을 구축한 이유와 레슨 런드

이번 달(2023년 7월)에는 제가 근무하는 회사의 블로그를 많이 포스팅하게 되네요. 🙏 Red Hat도 미래 세상에 기여하고자 MLOps에도 많은 투자와 함께 MLOps 플랫폼도 고객분들에게 제공하고 있습니다. 오늘(7월 31일)의 기사 제목은 "Red Hat이 MLOps 플랫폼을 구축한 방법과 Lesson Learned"입니다. 🍀 프롤로그(Prologue) 때때로 최상의 솔루션은 예기치 않게 함께 제공되는 솔루션으로부터 야기되고, 오픈 소스 커뮤니티에서는 빈번한 사례입니다. Open Data Hub는 단순한 데이터 스토리지 솔루션으로 시작했지만 이후 엔터프라이즈 고객을 위한 Red Hat OpenShift Data Science(RHODS)라는 상용화된 제품으로 발전한 프로젝트의 한 예입니다. Red Hat이 Open Data Hub를 처음 만들었을 때 엔지니어가 컨테이너 이미지 빌드 로그의 데이터를 이해할 수 있도록 내부적으로 대량의 데이터를 저장하는 데 사용했습니다. 그런 다음 데이터 과학자에게 프로젝트를 오픈해서 데이터에서 모델을 만들고 빌드에서 이상을 감지하고 빌드 실패의 근본 원인을 식별했습니다. 그러나 얼마 지나지 않아 Red Hat은 Open Data Hub의 잠재력이 Red Hat이 생각했던 것보다 훨씬 더 크다는 것을 이해하기 시작했습니다. 이것은 Open Data Hub가 내부 스토리지 프로젝트에서 상용 MLOps 플랫폼으로 이동한 과정과 그 과정에서 배운 교훈에 대한 이야기입니다. 🍀 시작은 데이터였습니다. 2018년 초에 데이터 과학자가 데이터, 컴퓨팅 리소스 및 모델링 프레임워크에 액세스할 수 있는 레퍼런스 아키텍처로 Open Data Hub를 만들었는데요, Red Hat은 오프젝트 스토리지를 위한 Ceph, 스트리밍 데이터를 위한 Kafka, 내부 엔지니어링 빌드를 분석하기 위한 데이터 플랫폼 기반 머신러닝을 제공하기 위해 K8s 기반의 Spark 및 Jupyter 노트북로 시작했습니다. 이 프로젝트는 훌륭하게 진행되었다고 합니다. 너무 훌륭해서 고객 중 일부는 이 사실을 알게 되었을 때 왜 Red Hat이 제공하지 않는지 궁금해하기 시작했습니다. 그래서 Open Data Hub를 상용화하기로 결정했습니다. 점점 더 많은 모델이 개발됨에 따라 이러한 모델을 운영할 수 있는 능력이 더욱 중요해졌습니다. 그것은 새로운 기능을 추가하는 것을 의미했습니다. "Jupyter와 나머지는 훌륭합니다. 하지만 우리(Red Hat의 고객)에게 정말로 필요한 것은 모델을 운영환경으로 가져오는 데 도움이 되는 진정한 MLOps 플랫폼입니다." 그들은 데이터 과학자를 위한 도구뿐만 아니라 개발자와 운영자도 사용할 수 있는 더 많은 도구가 필요했습니다. 그리고 모든 사람이 액세스할 수 있는 도구가 필요했습니다. 초창기였지만 고객들은 이미 Red Hat이 원래 의도했던 것 이상으로 창의력을 발휘하고 생각하도록 요구하고 있었습니다. 그들은 Red Hat이 반복하고 혁신하여 오픈 소스가 무엇인지, 그리고 항상 그럴 것인지를 구현하기를 원했습니다. 🍀 협업에 베팅합니다. Open Data Hub를 확장하기로 결정하자 질문이 쏟아지기 시작했습니다. 첫 번째 질문 중 하나는 "어떤 유형의 플랫폼을 기반으로 사용해야 합니까?"였습니다. Red Hat은 최고의 유연성을 제공하는 기술로 프로젝트를 구축하고 싶다는 것을 알고 있었습니다. 하이브리드 클라우드의 개념은 2011년경부터 있었지만 2018년부터 기업에서 본격적으로 주목을 받기 시작했습니다. Red Hat은 플랫폼이 독점 클라우드에 묶이지 않고 모든 클라우드 환경에 배포할 수 있어야 한다는 것을 이해했습니다. 그러나 서로 다른 팀이 애플리케이션 개발, 배포 및 관리를 보다 쉽게 자동화할 수 있는 시스템도 필요했습니다. 내부적으로 Open Data Hub의 기반은 K8s 기반 App 플랫폼인 Red Hat 오픈시프트였습니다. 그것은 잘 작동했지만, 처음에는 그러한 목적을 위한 것이 아니었기 때문에 데이터 과학자, 운영 관리자 및 개발자 간의 하나의 협업 소스로 플랫폼을 성공적으로 활용할 수 있을지 알 수 없었습니다. 하지만 Red Hat는 해낼 수 있다고 내기를 걸었습니다. 그러나 Red Hat은 스스로 할 수 없다는 것을 거의 즉시 알았습니다. 🍀 혼자서는 만들 수 없다는 사실을 알게 됩니다. 플랫폼을 구축하기 시작하면서 필요했지만 아직 갖지 못한 몇 가지 사항을 깨닫기 시작했습니다. 꽤 많은 목록이었습니다. 특히 SQL, 모델 레지스트리 및 기타 소스에서 데이터를 가져오는 선별된 업스트림 제품이 많지 않았습니다. 그리고 Open Data Hub는 원래 스토리지 솔루션으로 생각되었기 때문에 개발자와 운영 전문가에게 필요한 많은 도구가 포함되어 있지 않았습니다. 여전히 너무 작았습니다. Red Hat은 그것을 확장할 필요가 있었습니다. Red Hat은 협업 ML 플랫폼을 만드는 목표를 달성하는 데 필요한 도구 유형을 식별하고 Open Data Hub를 통해 사용할 수 있도록 만들기 시작했습니다. 이들 중 다수는 오픈 소스 프로젝트 자체였습니다(TensorFlow, PyTorch, KServe 등). 다른 것들은 파트너십의 결과였습니다(예를 들어 Trino, Pachyderm 및 Intel의 OpenVINO를 기반으로 한 Starburst의 상용 제품). RHODS의 구조가 구체화되기 시작했습니다. 맞춤형 노트북 및 모델 제공 엔진을 활성화하는 기능을 포함하여 다른 기능으로 채우기 시작했습니다. 관리형 클라우드 서비스로 시작했지만 많은 고객이 기존 소프트웨어 옵션도 원한다는 사실을 금방 알게 되었습니다. OpenShift의 불가지론적 특성 덕분에 온프레미스 및 모든 클라우드에서 실행되는 하이브리드 플랫폼을 피벗하고 제공할 수 있었습니다. 마지막으로 Red Hat 오픈시프트에서 RHODS를 실행하면 고객이 자체 도구를 동일한 클러스터에 추가할 수 있습니다. 기본적으로 자체 개발 애플리케이션, ISV(Independent Software Vendor) 지원 소프트웨어, MLOps 관련 도구 및 수천 개의 기타 오픈 소스 솔루션을 도입하여 라인 외부에서 색상을 지정할 수 있습니다. ❗️모든 오픈 소스 프로젝트가 동일하게 작동하지는 않습니다. 모든 조직이 오픈 소스를 잘 사용할 수 있는 것은 아닙니다. 대부분의 회사는 특정 오픈 소스 기술이 기업용인지 또는 적절한 보안 프로토콜이 있는지에 대해 걱정할 시간이 없습니다. RHODS를 만들 때 Red Hat는 고객이 이러한 문제를 덜 수 있도록 노력했습니다. 플랫폼에 포함된 도구는 오픈 소스 기술의 Red Hat 테스트 버전입니다. 고객은 원하는 모든 오픈 소스 도구를 계속 사용할 수 있지만 RHODS에 통합된 도구는 충분히 검증되고 선별되었음을 알고 있습니다. Kubeflow가 좋은 예입니다. 3년 전 Red Hat은 Kubeflow가 좋은 엔터프라이즈 옵션으로 간주될 만큼 충분히 표준화되고 성숙하지 않았다고 믿었습니다. Kubeflow의 구성 요소를 RHODS에 통합하고 엔터프라이즈급 모델 서비스 및 파이프라인 기능을 만들었습니다. 이 모든 것은 Red Hat이 Open Data Hub를 처음 구상했을 때 의도했던 것보다 더 많은 작업이었습니다. 그러나 Red Hat은 오픈 소스 커뮤니티와 고객 모두를 잘 관리하는 것이 Red Hat의 책임이라고 느꼈습니다. 🍀 향후 방향성 RHODS가 2018년의 "소규모" 내부 프로젝트 이후로 어떻게 성장했는지 생각하면 정말 놀랍습니다. 최근에 Red Hat은 MLOps 플랫폼에서 AI의 힘을 사용하는 새로운 방법을 발표했으며 Red Hat 오픈시프트의 다른 혁신적인 사용을 계속 탐색하고 있습니다. - 기술을 사용하여 사람의 텍스트를 IT 자동화 플레이북으로 번역하는 방법을 포함한 AI - RHODS에 통합되기 전에 먼저 업스트림 Open Data Hub에 미래 기술을 적용하는 오픈 소스 개발 모델을 항상 따를 것입니다. 좋은 예는 Ray 및 CodeFlare와 같은 기술을 사용하여 기초 모델을 실행하기 위해 개발 중인 인프라 스택입니다. 가장 중요한 것은 계속해서 배우고 실험할 것입니다. Red Hat의 고객들은 오픈 소스 프로젝트가 원래 의도했던 것보다 더 많은 것이 될 수 있다고 Red Hat에게 가르쳤습니다. RHODS가 현재보다 더 뛰어나다고 생각할 이유가 없습니다. Red Hat은 그것을 구축하고 앞으로 나아가고 새로운 기능과 용도를 발견할 것입니다. 원본 기사 링크는 아래와 같습니다. 감사합니다🙏 [Source] https://thenewstack.io/how-we-built-an-mlops-platform-and-the-lessons-we-learned/