커리어리 친구들, 이번 NeurIPS 2020 에서, 인공지능 연구자들은 역전파(backpropagation)에 대해 좀더 빠르고 효율적인 사용 방법을 제안했습니다. 역전파에 대해 간단히 설명하자면, 딥러닝 모델의 가중치와 관련하여 손실 함수(loss function)의 기울기(gradient)를 계산하는 것입니다. 기울기란 머신 러닝 모델을 학습할 때 사용되는 최적화 알고리즘이라고 이해하시면 쉽습니다. 또한 손실 함수는 특정 알고리즘이 주어진 데이터 세트를 얼마나 잘 모델링하는지 평가하는 방법입니다. 그러나 이러한 역전파에는 단점이 두가지 있었는데요, 첫째, 네트워크 레이어를 순차적으로 업데이트 하므로 훈련 프로세스를 병렬화하기 어렵고 훈련 시간이 길어집니다. 둘째, 손실 함수의 지역 최소값(local minima) 에 갇히는 경향이 있습니다. 다시 말해, 수학적으로 모델 학습의 목표는 모델이 예측 능력을 최적화한 손실 함수의 지점인 전역 최소값에 수렴하는 것입니다. 그러나 역적파가 대신 찾는 전역 최소값(최적에 가깝지만 정확하지 않는 점)의 근사치가 종종 있는데, 이것이 모델의 잘못된 예측을 발생할 수 있습니다. 예를 들어, "말"이라고 훈련시킬 때 가끔 엉뚱한 그림이 나오는 경우가 있는데 이를 두고 말합니다. 따라서 이 문제를 해결하기 위해 Direct Feedback alignment 라는 방법으로 네트워크를 통해 역전파에 사용되는 가중치를 순전파(feed forwarding) 사용하는 가중치와 동일하게 랜덤 가중치를 조정(alignment)하게 만들어 줌으로서 잠재적인 훈련 시간과 전력 소비를 수십 배 줄일 수 있다고 주장했습니다. 논문 링크: https://openreview.net/pdf?id=T3RyQtRHebj