Gradient Descent, Step-by-Step
www.youtube.com
1. 경사하강법(Gradient Descent)이란?
경사하강법(Gradient Descent)은 #데이터사이언스 와 #머신러닝 에서 가장 유명한
데이터 모델의 정확도를 높이는 방법론입니다.
2. 경사하강법(Gradient Descent)이 존재하는 이유
데이터 모델은 정확한 현실의 모습을 보여주기 위해 수식으로 만든 방법론입니다.
하지만 데이터 모델은 항상 정확한 현실을 반영하지 않습니다.
그 말은 은 곧
현실과 데이터 모델은
'오류'라고 불리는 어느정도의 차이를 가지고 있다는 뜻입니다.
데이터 과학자들은 이런 '오류' 를 최대한 줄이기 위해
오류의 경사를 만들어 점점 각도가 내려가게 되는 깊은 골짜기를 만들었습니다.
3. 경사하강법(Gradient Descent)을 활용하는 법
이 골짜기는 매우 깊고 어둡습니다.
위에서 바라보았을 때는 골짜기의 깊이를 알수 없죠.
하지만 오류가 가장 작은 지점을 찾기 위해서는
우리는 골짜기의 가장 깊은 곳을 찾아야 합니다.
이 때 경사 하강법은 골짜기를 내려오는 가장 안전한 방법을 알려줍니다.
바로 골짜기의 꼭대기에서 시작하여,
가장 낮은 지점인 골짜기의 맨 아래(최소값)를 찾기 위해 계속 꾸준히 내려가는 과정입니다. 이 때, '경사'는 어디가 가장 낮은 지점인지를 알려줍니다.
경사가 점점 가파를수록 아직 내려가야 되는 거리가 많다는 뜻이 되고,
경사가 점점 완만할수록 목표지점에 가깝다는 뜻이 될 것입니다.
4. 경사하강법(Gradient Descent)의 2가지 중요한 요소
경사 하강법의 두 가지 요소는 '학습률(learning rate)'과 '손실 함수(loss function)'입니다.
학습률(learning rate)은 한 번에 얼마나 많이 내려갈 것인지를 결정하며, 내려가는 정도가 너무 작으면 도달하는 시간이 느려지고, 너무 크면 가장 목표 지점인 가장 낮은 지점(최소값)을 놓칠 수 있습니다. 손실 함수(loss function)는 현재 오류의 '상태'을 측정하는 기준으로, 이 손실 함수를 최소화하는 것이 경사하강법의 목표인 것이죠.
5. 경사하강법(Gradient Descent) 영상으로 배우기
아래는 Joshua Starmer PhD 박사님의 경사 하강법에 대한 유튜브 영상입니다.
해당 영상: https://www.youtube.com/watch?v=sDv4f4s2SB8
#데이터리차드 #데이터사이언스 #경사하강법
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 1월 20일 오전 12:44