기계학습 실험을 정신없이 반복하다 보면 설정과 | 커리어리

기계학습 실험을 정신없이 반복하다 보면 설정과 실험 결과가 뒤엉켜서 정리가 안될 때가 있습니다. 이럴 때 실험관리를 위한 MLOps 도구를 사용하면 손수 기록해야 하는 수고를 덜 수 있죠. AWS에 Amazon SageMaker Experiments가 있지만 Sacred, MLflow 등 오픈 소스도 고려해볼 만한 옵션입니다. 우선, Sacred는 실험 설정과 구성, 로깅과 재현을 도와주는 실험 도구입니다. 본 라이브러리는 - 데코레이터로 기존 코드에 손쉽게 덧붙일 수 있고 강력한 CLI를 제공합니다. - 실험을 위해 별도 설정을 구성하고 설정을 변경한 이력들을 캡처할 수 있습니다. - (MongoDB 등을 기반으로 하는) 옵서버에 실험 설정, 난수, 출력 값, 로그, 디바이스 정보, 소스코드와 패키지 및 버전 같은 광범위한 정보를 저장할 수 있습니다. - Omniboard라는 별도 패키지를 이용하면 옵서버에 저장된 정보를 손쉽게 시각화하고 진행한 실험들을 비교할 수 있습니다. (다만 2020년 말 이후 업데이트가 없는 점은 유의하셔야 할 듯합니다.)

Welcome to Sacred’s documentation! — Sacred 0.8.2 documentation

sacred.readthedocs.io

2022년 1월 23일 오전 11:47

댓글 0

함께 보면 더 좋은

OpenAI는 그 거대한 뉴럴 네트워크 모델을 어떻게 합리적인 시간 안에 학습시킬 수 있었을까요? 해답은 다양한 딥러닝 병렬 처리 기법들의 조합입니다. - 데이터 병렬 처리 - 서로 다른 GPU에서 배치의 서로 다른 하위 집합을 실행합니다. - 파이프라인 병렬 처리 - 서로 다른 GPU에서 모델의 서로 다른 레이어를 실행합니다. - 텐서 병렬 처리 - 여러 개의 GPU에 분할되는 행렬 곱셈처럼 단일 작업에 대한 수리적 연산을 나눕니다. - 전문가 혼합(MoE) - 각 레이어의 일부만 사용하여 각 샘플을 처리합니다. 초거대 모델에 대한 업계 관심에 높아지고 있고 산업 한가운데에 있는 저 또한 그러한 열기를 느끼고 있는데요. 때마침 지난 6월 9일 OpenAI는 병렬 처리 기법들에 대해 간결하지만, 종합적으로 다룬 글을 자사 블로그에 게재했습니다. 개론으로 삼을만한 아주 좋은 글이기에 직접 번역해봤습니다.

OpenAI는 뉴럴 네트워크 대형 모델을 어떻게 학습시키는가

Velog

추천 프로필

현직자에게 업계 주요 소식을 받아보세요.

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 일잘러들의 커리어 SNS