개인적으로 AI & ML 2015년 이후 주요 논문을 연도 별로 훑으면서 요약해보고 관련 리소스를 정리하고 있다. 작업하는 김에 커리어리에 코멘트와 함께 주기적으로 올려 보려고 한다. 그 첫 타자는

개인적으로 AI & ML 2015년 이후 주요 논문을 연도 별로 훑으면서 요약해보고 관련 리소스를 정리하고 있다. 작업하는 김에 커리어리에 코멘트와 함께 주기적으로 올려 보려고 한다. 그 첫 타자는... ❝AI 논문 오직 1줄 요약 - Cosine Decay Schedule with Restarts❞ ✓ 논문: SGDR: Stochastic Gradient Descent with Warm Restarts, 2016년, 3,507회 인용, https://arxiv.org/abs/1608.03983 ✓ 분류: 컴퓨터 비전 공통, 훈련 기법, 학습률 스케줄링 ✓ 1줄 요약: 학습률을 코사인 곡선 형태로 감소(= 코사인 어닐링)시키면서 점차 길어지는 주기로 원복 해주니까 모델의 일반화 성능이 좋아지더라. 👍 👉 구현: tf.keras.optimizers.schedules.CosineDecayRestarts (https://www.tensorflow.org/api_docs/python/tf/keras/optimizers/schedules/CosineDecayRestarts) 백종원의 요리 비법을 모은(...) 논문 'Bag of Tricks for IC with CNNs'에도 소개된 바 있고 LLM 학습에 이르기까지 시간이 갈수록 더 많이 쓰이는 딥러닝 학습률 스케줄링의 대세.