Gradient Descent1 Gradient Descent Gradient descent Gradient descent(이하 GD)는 함수 최적화(optimization) 알고리즘의 하나이며, local minimum을 찾기 위해 미분의 개념을 적용한 알고리즘입니다. 자세히 살펴보기 전에 직관적으로 이야기해보자면, 산의 정상을 향해서 오르거나, 깊은 골짜기로 내려가는 경우에 현재 위치에서 경사가 가장 가파른 방향으로 오르거나 내려가다보면 정상(local maximum)에 다다르거나 가장 깊은 골짜기(local minimum)로 내려갈 수 있습니다. 이러한 개념이 바로 Gradient Descent입니다. (local maximum, 즉 정상을 향해서 진행하는 것은 Gradient ascent라고 합니다.) - Gradient gradient는 각 변수의 일차 편.. 2020. 12. 16. 이전 1 다음
