Adam

Adam theo dõi trung bình mũ của và của bình phương gradient, rồi hiệu chỉnh ảnh hưởng của việc khởi tạo hai bằng 0. Phép chia và căn được thực hiện theo từng tọa độ.

Lĩnh vực: Thuật toán tối ưu

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Bài giảng dùng khái niệm này

• Các phương pháp tối ưu trong học sâuToán cho AI

Giải thích kỹ thuật

Hai trung bình mũ và hiệu chỉnh đầu quá trình. Adam dùng $m_t$ cho có dấu, $v_t$ cho bình phương gradient, rồi chia lần lượt cho $1-{\beta }_1^t$ và $1-{\beta }_2^t$. Với gradient hằng, phép chia loại đúng hệ số thiếu do khởi tạo 0.

Hiệu chỉnh này không có nghĩa mọi ${\hat{m}}_t$ đều là ước lượng không chệch của tại tham số hiện tại trong một quá trình học thay đổi. của bộ tối ưu gồm $m,v,t$. Nếu tệp lưu thiếu một phần trạng thái thì bước tiếp theo sẽ thay đổi. Nguồn: Kingma & Ba, Adam, Algorithm 1.

Ví dụ

Với $g_1=2$, ${\beta }_1=0,9$, ${\beta }_2=\mathrm{0,999}$, ta được $m_1=0,2$, $v_1=\mathrm{0,004}$. Sau hiệu chỉnh: ${\hat{m}}_1=2$, ${\hat{v}}_1=4$.

Khi nào cần dùng?

Huấn luyện mô hình với tốc độ học thích nghi theo tọa độ.

Câu hỏi ôn lại

Có thể thay trung bình bình phương bằng bình phương trung bình gradient không?

Xem đáp án

Không. 2 và −2 có trung bình 0 nhưng trung bình bình phương bằng 4.

Thuật ngữ liên quan

• Gradient ngẫu nhiên và SGD
• Momentum và Nesterov
• RMSProp