Gradient

Gradient $\mathrm{\nabla }f$ là các . Tại điểm khả vi, nó chỉ hướng tăng nhanh nhất của f theo khoảng cách Euclid. Hướng $-\mathrm{\nabla }f$ là hướng giảm nhanh nhất tại điểm đó. Một bước quá dài theo hướng này vẫn có thể làm giá trị tăng.

Lĩnh vực: Đại số & giải tích

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Bài giảng dùng khái niệm này

• Giới thiệu tối ưu, tập lồi và hàm lồiToán cho AI
• Đối ngẫu LagrangeToán cho AI
• Tối ưu không ràng buộc và ràng buộc đẳng thứcToán cho AI
• Các phương pháp tối ưu trong huấn luyện mô hình học sâuToán cho AI
• Các phương pháp tối ưu trong học sâuToán cho AI
• Điện thếVật lý 2

Giải thích kỹ thuật

Công thức và xấp xỉ cục bộ. Với hàm khả vi $f:{\mathbb{R}}^n\to \mathbb{R}$, gradient là:

$$\mathrm{\nabla }f(x)=(\frac{\partial f}{\partial x_1},\dots ,\frac{\partial f}{\partial x_n}).$$

Với nhỏ $\mathrm{\Delta }x$, ta có $f(x+\mathrm{\Delta }x)\approx f(x)+\mathrm{\nabla }f(x)\cdot \mathrm{\Delta }x$. theo hướng đơn vị u bằng $\mathrm{\nabla }f(x)\cdot u$, lớn nhất khi u cùng hướng gradient nếu gradient khác 0. Khi gradient bằng 0, không có một hướng tăng nhanh nhất được xác định từ công thức này.

Gradient Descent cập nhật $x_{k+1}=x_k-\eta \mathrm{\nabla }f(x_k)$. Hướng giảm là thông tin cục bộ. Bước $\eta$ quá dài vẫn có thể làm f tăng. Với hàm $f(x)=x^2$, hệ thức lặp là $x_{k+1}=(1-2\eta )x_k$, trong đó khoảng $0<\eta <1$ làm $|x|$ giảm, $\eta =1$ làm đổi dấu nhưng giữ nguyên độ lớn, còn $\eta >1$ có thể gây phân kỳ.

Ví dụ

$f(x,y)=x^2+y^2$: $\mathrm{\nabla }f=(2x,2y)$. Tại (1, 2), gradient là (2, 4).

Khi nào cần dùng?

Hiểu Gradient Descent và $\mathbf{E}=-\mathrm{\nabla }V$.

Câu hỏi ôn lại

Gradient của $f(x,y)=x+2y$ là gì?

Xem đáp án

(1, 2).

Thuật ngữ liên quan

• Đạo hàm riêng
• Vector
• Đạo hàm
• Chuẩn vector
• Điện thế