Hessian

Với hàm $f$ có bậc hai liên tục, Hessian $H$ có phần tử $H_{ij}=\frac{{\partial }^{2}f}{\partial x_i\partial x_j}$. $H$ mô tả độ cong theo hướng $v$ qua số $v^{T}Hv$. Hessian khác : Một bên là , một bên là .

Lĩnh vực: Tối ưu hóa

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Bài giảng dùng khái niệm này

• Ôn tập nền tảng toán học cho AIToán cho AI
• Giới thiệu tối ưu, tập lồi và hàm lồiToán cho AI
• Tối ưu không ràng buộc và ràng buộc đẳng thứcToán cho AI
• Các phương pháp tối ưu trong học sâuToán cho AI

Giải thích kỹ thuật

Với $f:{\mathbb{R}}^n\to \mathbb{R}$ có bậc hai liên tục, $H={\mathrm{\nabla }}^{2}f$ đối xứng. Với nhỏ $d$,

$$f(x+d)=f(x)+\mathrm{\nabla }f(x{)}^{T}d+\frac{1}{2}{d}^{T}Hd+o(\parallel d{\parallel }_2^2).$$

Ký hiệu $o(\parallel d{\parallel }_2^2)$ là phần dư mà tỉ số với $\parallel d{\parallel }_2^2$ tiến về 0 khi $d$ tiến về 0. Số $d^{T}Hd$ đo độ cong theo hướng $d$. Nó không phải một tọa độ riêng của Hessian. Trên miền mở lồi, hàm hai lần khả vi là lồi khi và chỉ khi Hessian ở mọi điểm. Kiểm ở một điểm chưa đủ. Nguồn: Convex Optimization, §A.4.2 và §3.1.4.

Ví dụ

Với $f(x,y)=x^2+3y^2$, là $(2x,6y{)}^T$ và

$${\mathrm{\nabla }}^{2}f=\left[\begin{array}{cc}2& 0\\ 0& 6\end{array}\right].$$

Khi nào cần dùng?

Kiểm tính lồi của hàm hai lần khả vi và lập bước Newton.

Câu hỏi ôn lại

Hessian của $f(x,y)=(x+y{)}^2$ là gì?

Xem đáp án

Ta có

$${\mathrm{\nabla }}^{2}f=\left[\begin{array}{cc}2& 2\\ 2& 2\end{array}\right].$$

Các phần tử ngoài đường chéo xuất hiện vì $x$ và $y$ cùng nằm trong một bình phương.

Thuật ngữ liên quan

• Gradient
• Ma trận nửa xác định dương
• Trị riêng & vector riêng
• Ma trận