Amazon SageMaker Pipeline | 커리어리

Amazon SageMaker Pipelines는 ML 워크플로 오케스트레이션을 위한 강력한 도구입니다. 이를 AWS CodePipeline의 CI/CD 기능과 결합하면 데이터 과학자는 예측 모델을 훈련, 테스트, 배포하기 위한 모범 사례를 손쉽게 만들 수 있습니다. Kaggle의 IEEE-CIS 사기 탐지 데이터 세트로 MLOps 아키텍처를 개발해보았습니다. 이 과정에서 모델링의 효율성을 높이기 위해 SageMaker HyperparameterTuner와 Clarify도 사용했습니다. 자세한 내용은 링크를 참고해주세요.

GitHub - youngmki/sagemaker-pipelines: IEEE-CIS Fraud Detection with Sagemaker Pipelines

GitHub

2022년 2월 7일 오전 6:24

댓글 0

함께 보면 더 좋은

OpenAI는 그 거대한 뉴럴 네트워크 모델을 어떻게 합리적인 시간 안에 학습시킬 수 있었을까요? 해답은 다양한 딥러닝 병렬 처리 기법들의 조합입니다. - 데이터 병렬 처리 - 서로 다른 GPU에서 배치의 서로 다른 하위 집합을 실행합니다. - 파이프라인 병렬 처리 - 서로 다른 GPU에서 모델의 서로 다른 레이어를 실행합니다. - 텐서 병렬 처리 - 여러 개의 GPU에 분할되는 행렬 곱셈처럼 단일 작업에 대한 수리적 연산을 나눕니다. - 전문가 혼합(MoE) - 각 레이어의 일부만 사용하여 각 샘플을 처리합니다. 초거대 모델에 대한 업계 관심에 높아지고 있고 산업 한가운데에 있는 저 또한 그러한 열기를 느끼고 있는데요. 때마침 지난 6월 9일 OpenAI는 병렬 처리 기법들에 대해 간결하지만, 종합적으로 다룬 글을 자사 블로그에 게재했습니다. 개론으로 삼을만한 아주 좋은 글이기에 직접 번역해봤습니다.

OpenAI는 뉴럴 네트워크 대형 모델을 어떻게 학습시키는가

Velog

추천 프로필

현직자에게 업계 주요 소식을 받아보세요.

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 일잘러들의 커리어 SNS