AI Math
เปิดแอป
calculus

เกรเดียนต์

เกรเดียนต์ของฟังก์ชันหลายตัวแปร f(x,y,...) คือเวกเตอร์ของอนุพันธ์ย่อย มันชี้ไปในทิศทางที่เพิ่มขึ้นชันที่สุดและเป็นรากฐานของการลงเขาเชิงเกรเดียนต์

เกรเดียนต์ ของ f(x1,…,xn)f(x_1, \ldots, x_n) คือเวกเตอร์ของอนุพันธ์ย่อยทั้งหมด: ∇f=(∂f/∂x1,…,∂f/∂xn)\nabla f = (\partial f/\partial x_1, \ldots, \partial f/\partial x_n)

การตีความเชิงเรขาคณิต: ที่จุดใด ๆ ∇f\nabla f ชี้ไปในทิศทางที่เพิ่มขึ้นชันที่สุด โดยมีขนาดเท่ากับอัตราการเปลี่ยนแปลงในทิศทางนั้น

ในการหาค่าสูงสุด/ต่ำสุดเฉพาะที่ ให้กำหนด ∇f=0⃗\nabla f = \vec{0} และตรวจสอบเงื่อนไขอันดับสอง ในการทำให้น้อยที่สุด (เช่น ค่าความสูญเสียใน ML) ให้เดินไปในทิศทาง −∇f-\nabla f — นี่คือ การลงเขาเชิงเกรเดียนต์ ซึ่งเป็นแกนหลักของการเรียนรู้ของเครื่องสมัยใหม่ ตัวแปรต่าง ๆ (momentum, Adam, RMSprop) ล้วนต่อยอดจากแนวคิดนี้

เกรเดียนต์ ตั้งฉากกับเส้นระดับ ของฟังก์ชัน อนุพันธ์ระบุทิศทางในทิศ u⃗\vec{u} (เวกเตอร์หนึ่งหน่วย) คือ ∇f⋅u⃗\nabla f \cdot \vec{u}