기울기 벡터

$f(x_1, \ldots, x_n)$ 의 기울기 벡터는 모든 편도함수를 나열한 벡터이다: $\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n)$.

기하학적 해석: 임의의 점에서 $\nabla f$ 는 가장 가파르게 증가하는 방향을 가리키며, 그 크기는 그 방향에서의 변화율과 같다.

극대/극소를 찾으려면 $\nabla f = \vec{0}$ 으로 놓고 2계 조건을 확인한다. 최소화하려면(예: 기계 학습 손실), $-\nabla f$ 방향으로 이동한다 — 이것이 경사 하강법이며, 현대 기계 학습의 중추이다. 변형들(모멘텀, Adam, RMSprop)은 모두 이 아이디어 위에 세워진다.

기울기 벡터는 함수의 등위 곡선에 수직이다. 방향 $\vec{u}$(단위 벡터)에 대한 방향 도함수는 $\nabla f \cdot \vec{u}$ 이다.