AdaGrad

AdaGrad cộng dồn bình phương theo từng tọa độ rồi chia bước cập nhật cho căn của tổng đó. Tọa độ đã nhận nhiều gradient lớn sẽ có bước hiệu dụng nhỏ dần vì vẫn giữ đóng góp của các bước cũ.

Lĩnh vực: Thuật toán tối ưu

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Bài giảng dùng khái niệm này

• Các phương pháp tối ưu trong học sâuToán cho AI

Giải thích kỹ thuật

Tốc độ hiệu dụng theo tọa độ. Với $s_t=s_{t-1}+g_t\odot g_t$, bước dùng $g_t/(\sqrt{s_t}+\epsilon )$ theo từng phần tử. Các tọa độ có tổng bình phương lớn nhận bước nhỏ hơn. Vị trí của $\epsilon$ phải được giữ khi so công thức và thư viện.

Vì $s_t$ không giảm, tốc độ hiệu dụng có thể nhỏ dần rất mạnh trong bài dài. Đây là cơ chế, không phải kết luận AdaGrad luôn kém. Nguồn: Duchi, Hazan & Singer (2011), Adaptive Subgradient Methods.

Ví dụ

Với 2 rồi 2, tổng bình phương lần lượt là 4 và 8.

Khi nào cần dùng?

Tự điều chỉnh thang cập nhật theo từng tọa độ, nhất là khi thưa.

Câu hỏi ôn lại

AdaGrad có quên ảnh hưởng của rất cũ không?

Xem đáp án

Không. Tổng bình phương chỉ tăng theo thời gian.

Thuật ngữ liên quan

• Gradient ngẫu nhiên và SGD
• RMSProp
• Adam