기계학습 실험을 정신없이 반복하다 보면 설정과 실험 결과가 뒤엉켜서 정리가 안될 때가 있습니다. 이럴 때 실험관리를 위한 MLOps 도구를 사용하면 손수 기록해야 하는 수고를 덜 수 있죠. AWS에

기계학습 실험을 정신없이 반복하다 보면 설정과 실험 결과가 뒤엉켜서 정리가 안될 때가 있습니다. 이럴 때 실험관리를 위한 MLOps 도구를 사용하면 손수 기록해야 하는 수고를 덜 수 있죠. AWS에 Amazon SageMaker Experiments가 있지만 Sacred, MLflow 등 오픈 소스도 고려해볼 만한 옵션입니다. 우선, Sacred는 실험 설정과 구성, 로깅과 재현을 도와주는 실험 도구입니다. 본 라이브러리는 - 데코레이터로 기존 코드에 손쉽게 덧붙일 수 있고 강력한 CLI를 제공합니다. - 실험을 위해 별도 설정을 구성하고 설정을 변경한 이력들을 캡처할 수 있습니다. - (MongoDB 등을 기반으로 하는) 옵서버에 실험 설정, 난수, 출력 값, 로그, 디바이스 정보, 소스코드와 패키지 및 버전 같은 광범위한 정보를 저장할 수 있습니다. - Omniboard라는 별도 패키지를 이용하면 옵서버에 저장된 정보를 손쉽게 시각화하고 진행한 실험들을 비교할 수 있습니다. (다만 2020년 말 이후 업데이트가 없는 점은 유의하셔야 할 듯합니다.)