勾配

$f(x_1, \ldots, x_n)$ の勾配は、すべての偏微分を並べたベクトルである：$\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n)$。

幾何学的な解釈：任意の点で $\nabla f$ は最も急に増加する方向を指し、その大きさはその方向での変化率に等しい。

極大・極小を求めるには $\nabla f = \vec{0}$ とおき、2 階の条件を確認する。最小化（例：機械学習の損失）には $-\nabla f$ 方向へ進む——これが勾配降下法であり、現代の機械学習の屋台骨である。各種の変種（モメンタム、Adam、RMSprop）はすべてこの考え方を基にしている。

勾配は関数の等高線に垂直である。方向 $\vec{u}$（単位ベクトル）への方向微分は $\nabla f \cdot \vec{u}$ である。