BFGS

BFGS cập nhật một xấp xỉ hoặc Hessian nghịch đảo từ s và thay đổi y. Điều kiện $y^{T}s>0$ giúp giữ tính dương xác định của xấp xỉ nghịch đảo khi trước đã dương xác định.

Lĩnh vực: Thuật toán tối ưu

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Bài giảng dùng khái niệm này

• Các phương pháp tối ưu trong học sâuToán cho AI

Giải thích kỹ thuật

Cập nhật secant hạng thấp. Đặt $s_k=x_{k+1}-x_k$, $y_k=g_{k+1}-g_k$, ${\rho }_k=1/(y_k^T{s}_k)$. BFGS nghịch đảo cập nhật $M_k$ sao cho $M_{k+1}{y}_k=s_k$. Khi $M_k\succ 0$ và $y_k^T{s}_k>0$, mới vẫn dương xác định.

L-BFGS không lưu toàn bộ mà giữ một số cặp $(s,y)$ gần đây và dùng hai vòng để tính hướng. Với , nhiễu trong $y$ có thể làm điều kiện độ cong khó thỏa. Nguồn: Deep Learning, §8.6 và Udell, Quasi-Newton Methods.

Ví dụ

Nếu $s=(1,0)$, $y=(2,0)$, một xấp xỉ nghịch đảo phù hợp theo hướng này phải gửi y về s.

Khi nào cần dùng?

Tạo hướng gần Newton mà không tính thật ở mỗi bước.

Câu hỏi ôn lại

Khi $y^{T}s\le 0$, có nên dùng nguyên công thức chia cho $y^{T}s$ không?

Xem đáp án

Không. Khi điều kiện độ cong không còn được thỏa, phần cài đặt cần bỏ qua hoặc điều chỉnh bước cập nhật.

Thuật ngữ liên quan

• Gradient
• Hessian
• Tìm kiếm đường và backtracking