تدریج (گریڈینٹ)

$f(x_1, \ldots, x_n)$ کی تدریج تمام جزوی تفرقات کا سمتیہ ہے: $\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n)$۔

ہندسی تعبیر: کسی بھی نقطے پر $\nabla f$ سب سے کھڑی چڑھائی کی سمت کی طرف اشارہ کرتی ہے، اور اِس کی مقدار اُس سمت میں تبدیلی کی شرح کے برابر ہوتی ہے۔

مقامی اعظم/اصغر تلاش کرنے کے لیے $\nabla f = \vec{0}$ رکھیں اور دوسرے درجے کی شرطیں جانچیں۔ کم سے کم کرنے کے لیے (مثلاً ML نقصان)، $-\nabla f$ سمت میں چلیں — یہی تدریجی نزول ہے، جو جدید مشین لرننگ کی ریڑھ کی ہڈی ہے۔ اِس کی اقسام (مومینٹم، Adam، RMSprop) سب اِسی خیال پر استوار ہیں۔

تدریج فلن کے ہم سطح منحنیوں پر عمودی ہوتی ہے۔ سمت $\vec{u}$ (اکائی سمتیہ) میں سمتی تفرق $\nabla f \cdot \vec{u}$ ہے۔