calculus

Gradien

Gradien dari fungsi multivariabel f(x,y,...) adalah vektor turunan parsial. Ia menunjuk ke arah pendakian tercuram dan merupakan fondasi dari penurunan gradien.

Gradien dari f(x1,,xn)f(x_1, \ldots, x_n) adalah vektor semua turunan parsial: f=(f/x1,,f/xn)\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n).

Tafsir geometris: pada titik mana pun, f\nabla f menunjuk ke arah pendakian tercuram, dengan besar yang sama dengan laju perubahan pada arah tersebut.

Untuk menemukan maksimum/minimum lokal, atur f=0\nabla f = \vec{0} dan periksa syarat orde kedua. Untuk meminimumkan (mis. rugi ML), bergerak ke arah f-\nabla f — inilah penurunan gradien, tulang punggung pembelajaran mesin modern. Variannya (momentum, Adam, RMSprop) semuanya dibangun di atas gagasan ini.

Gradien tegak lurus terhadap kurva ketinggian fungsi. Turunan berarah pada arah u\vec{u} (vektor satuan) adalah fu\nabla f \cdot \vec{u}.