RMSProp

RMSProp theo dõi trung bình mũ của bình phương thay vì cộng dồn từ đầu. Trọng số của quá khứ xa giảm theo lũy thừa của $\beta$. này là moment bậc hai không tâm, không phải đã trừ trung bình.

Lĩnh vực: Thuật toán tối ưu

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Bài giảng dùng khái niệm này

• Các phương pháp tối ưu trong học sâuToán cho AI

Giải thích kỹ thuật

Trung bình mũ của bình phương. $v_t=\beta v_{t-1}+(1-\beta )g_t^2$ gán trọng số $(1-\beta ){\beta }^k$ cho bình phương cách $k$ bước. Tổng các trọng số quan sát được ở đầu quá trình nhỏ hơn 1 nếu khởi tạo bằng 0.

Công thức RMSProp trong tài liệu và thư viện có thể khác ở vị trí epsilon, phần bổ sung hoặc biến thể có tâm. Cần đối chiếu đúng công thức trước khi so từng con số. Nguồn: Deep Learning, §8.5.2.

Ví dụ

Với $v_0=0$, $g_1=2$, $\beta =0,9$, ta được $v_1=0,9\cdot 0+0,1\cdot 4=0,4$.

Khi nào cần dùng?

Điều chỉnh bước từng tọa độ mà vẫn giảm ảnh hưởng của lịch sử xa.

Câu hỏi ôn lại

Nếu hiện tại bằng 0 thì v có về 0 ngay không?

Xem đáp án

Không, trừ trường hợp $\beta =0$ hoặc trước đã bằng 0.

Thuật ngữ liên quan

• AdaGrad
• Adam
• Phương sai