เกรเดียนต์

เกรเดียนต์ ของ $f(x_1, \ldots, x_n)$ คือเวกเตอร์ของอนุพันธ์ย่อยทั้งหมด: $\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n)$

การตีความเชิงเรขาคณิต: ที่จุดใด ๆ $\nabla f$ ชี้ไปในทิศทางที่เพิ่มขึ้นชันที่สุด โดยมีขนาดเท่ากับอัตราการเปลี่ยนแปลงในทิศทางนั้น

ในการหาค่าสูงสุด/ต่ำสุดเฉพาะที่ ให้กำหนด $\nabla f = \vec{0}$ และตรวจสอบเงื่อนไขอันดับสอง ในการทำให้น้อยที่สุด (เช่น ค่าความสูญเสียใน ML) ให้เดินไปในทิศทาง $-\nabla f$ — นี่คือ การลงเขาเชิงเกรเดียนต์ ซึ่งเป็นแกนหลักของการเรียนรู้ของเครื่องสมัยใหม่ ตัวแปรต่าง ๆ (momentum, Adam, RMSprop) ล้วนต่อยอดจากแนวคิดนี้

เกรเดียนต์ ตั้งฉากกับเส้นระดับ ของฟังก์ชัน อนุพันธ์ระบุทิศทางในทิศ $\vec{u}$ (เวกเตอร์หนึ่งหน่วย) คือ $\nabla f \cdot \vec{u}$