Momentum và Nesterov

Momentum cộng mới với một phần cũ để tạo . Nesterov dùng cùng ý tưởng nhưng tính gradient tại điểm nhìn trước $\theta +\mu v$. Hai công thức chỉ so được khi quy ước dấu và cách định nghĩa vận tốc được giữ nhất quán.

Lĩnh vực: Thuật toán tối ưu

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Bài giảng dùng khái niệm này

• Các phương pháp tối ưu trong huấn luyện mô hình học sâuToán cho AI
• Các phương pháp tối ưu trong học sâuToán cho AI

Giải thích kỹ thuật

và quy ước dấu. Một quy ước thường dùng là $v_{t+1}=\mu v_t-\eta g_t$, ${\theta }_{t+1}={\theta }_t+v_{t+1}$. Nesterov thay $g_t=\mathrm{\nabla }J({\theta }_t)$ bằng tại ${\theta }_t+\mu v_t$. Tài liệu khác có thể lưu trung bình gradient thay vì , nên công thức trông khác nhưng mô tả cùng họ phương pháp.

Khi tái lập kết quả, cần lưu cả $v$, tham số, bộ đếm và quy tắc lấy lô. Khởi động lại với cùng $\theta$ nhưng mất $v$ không phải tiếp tục đúng . Nguồn: Deep Learning, §8.3.2–8.3.3.

Ví dụ

Nếu $\theta =0$, $v=0$, −1 và $\eta =0$,1 thì bước momentum đầu cho $v=0$,1 và $\theta$ mới bằng 0,1.

Khi nào cần dùng?

Giảm dao động và tích lũy hướng cập nhật trong huấn luyện.

Câu hỏi ôn lại

Điểm khác nhau chính giữa momentum chuẩn và Nesterov trong bài là gì?

Xem đáp án

Nesterov tính tại điểm nhìn trước, không phải tại $\theta$ hiện tại.

Thuật ngữ liên quan

• Gradient ngẫu nhiên và SGD
• Gradient
• Adam