넷플릭스 데이터 플랫폼의 머신러닝 기반 자동 복원

* 넷플릭스에서 운영 자동화를 위해 머신러닝을 사용한 케이스를 정리한 첫 글 * 자동 진단, 자동 수정, 자동 구성, 자동 튜닝, 자동 확장, 자동 디버깅 등 운영 자동화는 최신 데이터 플랫폼의 성공을 위한 핵심 요소 * 룰베이스에서 ML 서비스를 사용해 자동으로 수정하는 것을 목표로 했던 프로젝트에 대한 소개 * Spark 작업의 Memory 구성 오류와 분류되지 않은 오류를 처리하기 위해 자동 복원(Auto Remediation) 기능을 배포했고, 그 효과는 메모리 설정 오류의 56%를 자동으로 수정하고 모든 오류로 인한 금전적 비용 50% 절감했음 * 소개 * 넷플릭스의 데이터 플랫폼엔 하루에 수십만 개의 Workflow, 수백만개의 Job이 실행되고 있음 * 장애가 발생한 작업이 전체 워크로드 중 작은 부분이여도 장애를 진단하고 해결하는 것이 운영 부담이 될 수 있음(여러 일이 생기기에) * 오류를 효율적으로 처리하기 위해 룰 베이스 분류기를 사용하는 Pensive라는 서비스를 개발함 -> 일련의 규칙에 따라 작업 오류를 분류 -> 스케줄러가 작업을 다시 시도할지 여부를 결정 -> 엔지니어가 진단하고 해결할 수 있는 인사이트 제공 * 그러나 시스템의 규모가 커지고, 복잡해지면서 메모리 설정 오류, 미분류 오류 처리에 대한 지원이 제한되었음. 예를 들어 OOM 오류로 인한 작업 실패를 진단하기 위해 팀 전체의 노력이 필요함 * 머신러닝을 사용해 재시도 성공 확률, 재시도 비용을 예측하고 최적의 후보 구성을 권장 사항으로 선택함. 그리고 자동으로 적용 * 장점 * Integreate Intelligence : 통합된 지식 * 도메인 전문가의 컨텍스트를 기반으로 Error Class 별로 Static하고 결정론적인 분류 결과를 제공 * 작업별로 성능과 비용을 고려한 권장 사항 제공 * Full Automated : 완전 자동화 * 오류를 분류, 권장 사항을 가져오고, 적용하는 파이프라인이 완전 자동화 * 수정 프로세스에 사람의 개입이 필요하지 않음 * Multi-objective Optimization : 다양한 목적의 최적화 * 성능(재시도 성공 확률)과 컴퓨팅 비용 효율성(작업 실행에 드는 금전적 비용)을 모두 고려해 권장 사항을 생성 * 예를 들어 메모리 설정 오류는 작업 실행의 메모리 사용량과 관련된 파라미터를 검색하고, 실패 확률과 컴퓨팅 비용의 선형 조합을 최소화하는 조합을 추천함 * 규칙 기반 분류기 * Log collector : 로그 수집 * Rule Execution Engine : 미리 정의된 Rule과 일치시키는 작업. 오류를 식별하기 위한 정규식이 포함 * Result Finalizer : 오류 분류 결과를 확정하는 역할. 가장 먼저 일치하는 규칙의 분류에 따라 최종 분류 결정 * 도전 과제 * 메모리 설정 오류 * 일시적이지 않은 오류는 여전히 엔지니어가 수동으로 작업을 해야 함 * 메모리를 작게 설정하면 OOM, 크게 설정하면 리소스 낭비 * 데이터 플랫폼에 1달에 약 600건의 메모리 설정 오류가 발생 -> 많은 노력 * 분류되지 않은 오류 * 규칙을 수동으로 추가해야 오류로 분류가 됨 * 새 규칙 추가를 위한 노력도 필요함 * 300개 이상의 규칙이 추가되었지만 전체 장애의 50%가 분류되지 않음 * Auto Remediation * 권장사항 생성 : 규칙 기반으로 모든 오류 분류, 그 후에 머신러닝 서비스를 사용해 권장사항 제공 * Nightingale : Metaflow를 사용해 학습된 머신러닝 모델을 실행하는 서비스. 재시도 권장 사항을 생성하는 역할 * 오류를 다시 시작할 수 있는지 여부 * 작업을 다시 시작하기 위한 권장 구성 * ConfigService : 온라인 설정 서비스 * 정의된 Scope와 함께 JSON patch로 ConfigService에 저장 * 스케줄러가 권장 설정을 가져오기 위해 ConfigService를 호출하면 스케줄러는 원래 구성을 ConfigService에 전달 -> ConfigService는 원래 구성에 JSON 패치를 적용 -> 스케줄러가 변경된 설정으로 다시 작업 시작 * Pensive : 룰베이스 오류 분류기 * 스케줄러 : 작업을 스케줄링. Netflix Maestro 사용 * 머신러닝 서비스 * 나이팅게일이 실패한 작업에 대한 재시도 정책을 생성하고, 재시도 성공 확률과 작업 실행 비용의 균형을 맞춤 * 예측 모델 : 재시도 속성에 따라 성공 확률, 재시됴 비용을 추정 * 매일 오프라인으로 재학습 * 최적화 프로그램 : 실패 확률과 비용의 선형 조합을 최소화하는 구성을 도출 * 데이터 플랫폼에서 재시도 성공 결과와 실행 비용을 모두 기록해 신뢰할 수 있는 레이블을 제공 https://netflixtechblog.com/evolving-from-rule-based-classifier-machine-learning-powered-auto-remediation-in-netflix-data-039d5efd115b