AI Math
Ouvrir l'app
calculus

Gradient

Le gradient d'une fonction à plusieurs variables f(x,y,...) est le vecteur des dérivées partielles. Il pointe dans la direction de la plus forte pente ascendante et constitue le fondement de la descente de gradient.

Le gradient de f(x1,…,xn)f(x_1, \ldots, x_n) est le vecteur de toutes les dérivées partielles : ∇f=(∂f/∂x1,…,∂f/∂xn)\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n).

Interprétation géométrique : en tout point, ∇f\nabla f pointe dans la direction de la plus forte pente ascendante, sa norme étant égale au taux de variation dans cette direction.

Pour trouver les maxima/minima locaux, on pose ∇f=0⃗\nabla f = \vec{0} et on vérifie les conditions du second ordre. Pour minimiser (p. ex. une fonction de perte en apprentissage automatique), on se déplace dans la direction −∇f-\nabla f : c'est la descente de gradient, l'épine dorsale de l'apprentissage automatique moderne. Ses variantes (momentum, Adam, RMSprop) reposent toutes sur cette idée.

Le gradient est perpendiculaire aux courbes de niveau de la fonction. La dérivée directionnelle dans la direction u⃗\vec{u} (vecteur unitaire) est ∇f⋅u⃗\nabla f \cdot \vec{u}.