प्रवणता (ग्रेडिएंट)

$f(x_1, \ldots, x_n)$ की प्रवणता सभी आंशिक अवकलजों का सदिश है: $\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n)$।

ज्यामितीय व्याख्या: किसी भी बिंदु पर $\nabla f$ सर्वाधिक तीव्र आरोहण की दिशा में संकेत करता है, जिसका परिमाण उस दिशा में परिवर्तन की दर के बराबर होता है।

स्थानीय उच्चिष्ठ/निम्निष्ठ ज्ञात करने के लिए $\nabla f = \vec{0}$ रखें और द्वितीय-कोटि शर्तें जाँचें। न्यूनतम करने के लिए (जैसे ML हानि), $-\nabla f$ दिशा में चलें — यही प्रवणता अवरोहण है, जो आधुनिक मशीन लर्निंग की रीढ़ है। इसके रूपांतर (मोमेंटम, Adam, RMSprop) सभी इसी विचार पर आधारित हैं।

प्रवणता फलन की समस्तर वक्रों के लंबवत होती है। दिशा $\vec{u}$ (एकक सदिश) में दिक् अवकलज $\nabla f \cdot \vec{u}$ है।