🌈 머신러닝 시스템 디자인 패턴 - 다양한 머신러닝 시스템 디자인 패턴에 대해 작성된 글입니다 - Serving, QA(모델 테스트), Training, Operation, Lifecycle 패턴에 대해 작성된 글입니다 - 한국어로 번역한 자료라 관심 있는 분들은 보시면 유익할 것 같습니다! - Serving 중 Synchronous pattern만 예시로 원문을 가져올게요 :) - Github : https://github.com/mercari/ml-system-design-pattern 🎁 이 글을 추천하는 이유 - 머신러닝 모델 프러덕션시 고려해야 하는 다양한 디자인 패턴에 대해 작성되어 있는 자료 - Serving 패턴 예시 : 배치 패턴, 비동기 패턴, 동기 패턴, 데이터 캐싱 패턴, 예측 캐싱 패턴 등등 - 개인적으로 봤던 글 중(동영상, 글 포함) 제일 여러 패턴을 작성한 컨텐츠입니다 - 각 패턴을 도식화해서 전달하고, 장단점과 언제 사용하면 좋은지 작성되어 있습니다 - 안티 패턴도 작성되어 있어서, 피해야 하는 패턴을 알 수 있습니다 - 한국어로 번역된 자료! 👍 읽으면 좋은 분 - MLOps에 관심있는 분들 - 머신러닝 시스템을 프러덕션에 적용해야 하는 분들 - 머신러닝 시스템 패턴에 대해 궁금하신 분들 📋 내용 Serving patterns - 서빙 패턴은 실제 운영 환경에서 머신러닝 모델을 이용할 수 있도록 만드는 패턴 - Web single pattern - Synchronous pattern - Usecase - 다음 단계를 진행하기 위해 예측 결과를 받아야 하는 경우, 예측 결과에 따라 워크플로우가 달라지는 경우 - Architecture - 예측을 동기식으로 실행할 때 사용 - REST 또는 GRPC를 사용하는 경우 - 간단한 워크플로우를 사용할 수 있는 쉬운 패턴 - 장점 - 아키텍처의 단순함으로 관리가 쉬움 - 예측이 완료될 때까지 프로세스가 진행되지 않아 워크플로우가 단순해짐 - 단점 - 예측 속도가 병목 현상이 됨 - 예측 지연으로 사용자 경험이 악화되지 않도록 해결 방법을 고려해야 함 - 나머지 패턴의 디테일은 본문을 참고하시면 좋을 것 같습니다 :) - Asynchronous pattern - Batch pattern - Prep-pred pattern - Microservice vertical pattern - Microservice horizontal pattern - Prediction cache pattern - Data cache pattern - Prediction circuit break pattern - Multiple stage prediction pattern - Antipatterns - Online bigsize pattern - All-in-one pattern QA patterns - 모델을 평가하기 위한 패턴입니다 - Shadow AB-testing pattern - Online AB-testing pattern - Loading test pattern - Antipatterns - Offline-only pattern Training patterns - 학습 파이프라인을 구성하기 위한 패턴입니다. - Batch training pattern - Pipeline training pattern - Parameter and architecture search pattern - Antipatterns - Only-me pattern - Training code in serving pattern - Too many pipes pattern Operation patterns - ML 학습 시스템의 설정과 로깅, 모니터링, 알람 시스템을 위한 운영 패턴입니다. - Model-in-image pattern - Model-load pattern - Data model versioning pattern - Prediction log pattern - Prediction monitoring pattern -Parameter-based serving pattern - Condition-based-serving pattern - Antipatterns - No logging pattern - Nobody knows pattern Lifecycle patterns - 실제 운영을 위한 ML 시스템을 구성하기 위해 여러 패턴들을 조합한 패턴입니다 - Train-then-serve pattern - Training-to-serving pattern