التدرّج

تدرّج الدالة $f(x_1, \ldots, x_n)$ هو متّجه جميع المشتقّات الجزئية: $\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n)$.

التفسير الهندسي: عند أي نقطة، يشير $\nabla f$ إلى اتجاه أشدّ تزايد، ومقداره يساوي معدّل التغيّر في ذلك الاتجاه.

لإيجاد القيم العظمى/الصغرى المحلّية، نضع $\nabla f = \vec{0}$ ونتحقّق من شروط الرتبة الثانية. وللتصغير (مثل دالة الخسارة في تعلّم الآلة)، نسير في اتجاه $-\nabla f$ — وهذا هو الانحدار التدرّجي، العمود الفقري لتعلّم الآلة الحديث. وكل تنويعاته (الزخم، Adam، RMSprop) مبنيّة على هذه الفكرة.

التدرّج عمودي على منحنيات المستوى للدالة. المشتقّة الاتجاهية في الاتجاه $\vec{u}$ (متّجه واحدي) هي $\nabla f \cdot \vec{u}$.