Gradient (vectơ građien)

Gradient của $f(x_1, \ldots, x_n)$ là vectơ gồm tất cả các đạo hàm riêng: $\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n)$.

Diễn giải hình học: tại điểm bất kỳ, $\nabla f$ chỉ theo hướng tăng nhanh nhất, với độ lớn bằng tốc độ biến thiên theo hướng đó.

Để tìm cực đại/cực tiểu địa phương, đặt $\nabla f = \vec{0}$ và kiểm tra các điều kiện bậc hai. Để cực tiểu hóa (ví dụ hàm mất mát trong ML), đi theo hướng $-\nabla f$ — đây là hạ gradient, xương sống của học máy hiện đại. Các biến thể (momentum, Adam, RMSprop) đều xây dựng trên ý tưởng này.

Gradient vuông góc với các đường mức của hàm. Đạo hàm theo hướng $\vec{u}$ (vectơ đơn vị) là $\nabla f \cdot \vec{u}$.