Градиент функции $f(x_1, \ldots, x_n)$ — это вектор всех частных производных: $\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n)$ .

Геометрическая интерпретация: в любой точке $\nabla f$ указывает в направлении наискорейшего возрастания, а его модуль равен скорости изменения в этом направлении.

Чтобы найти локальные максимумы/минимумы, полагают $\nabla f = \vec{0}$ и проверяют условия второго порядка. Чтобы минимизировать (например, функцию потерь в машинном обучении), движутся в направлении $-\nabla f$ — это градиентный спуск, становой хребет современного машинного обучения. Все его варианты (моментум, Adam, RMSprop) строятся на этой идее.

Градиент перпендикулярен линиям уровня функции. Производная по направлению $\vec{u}$ (единичный вектор) равна $\nabla f \cdot \vec{u}$ .