AI Math
App öffnen
calculus

Gradient

Der Gradient einer mehrdimensionalen Funktion f(x,y,...) ist der Vektor der partiellen Ableitungen. Er zeigt in die Richtung des steilsten Anstiegs und bildet die Grundlage des Gradientenabstiegs.

Der Gradient von f(x1,…,xn)f(x_1, \ldots, x_n) ist der Vektor aller partiellen Ableitungen: ∇f=(∂f/∂x1,…,∂f/∂xn)\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n).

Geometrische Deutung: An jedem Punkt zeigt ∇f\nabla f in die Richtung des steilsten Anstiegs, wobei sein Betrag der Änderungsrate in dieser Richtung entspricht.

Um lokale Maxima/Minima zu finden, setzt man ∇f=0⃗\nabla f = \vec{0} und prüft die Bedingungen zweiter Ordnung. Zum Minimieren (z. B. einer ML-Verlustfunktion) bewegt man sich in Richtung −∇f-\nabla f — das ist der Gradientenabstieg, das Rückgrat des modernen maschinellen Lernens. Varianten (Momentum, Adam, RMSprop) bauen alle auf dieser Idee auf.

Der Gradient steht senkrecht auf den Niveaulinien der Funktion. Die Richtungsableitung in Richtung u⃗\vec{u} (Einheitsvektor) ist ∇f⋅u⃗\nabla f \cdot \vec{u}.