Gradient ngẫu nhiên và SGD

lô nhỏ là trung bình gradient trên một mẫu dữ liệu được chọn theo quy tắc cụ thể. Nó có thể không chệch so với gradient toàn bộ dữ liệu nhưng vẫn dao động ở từng bước. SGD cập nhật tham số bằng ước lượng này.

Lĩnh vực: Thuật toán tối ưu

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Bài giảng dùng khái niệm này

• Các phương pháp tối ưu trong huấn luyện mô hình học sâuToán cho AI
• Các phương pháp tối ưu trong học sâuToán cho AI

Giải thích kỹ thuật

Không chệch cần một mô hình lấy mẫu. Nếu chỉ số $I$ được lấy đều và trên $\{1,\dots ,N\}$ khi $\theta$ đang cố định, thì $E[\mathrm{\nabla }{\ell }_I(\theta )\mid \theta ]=\mathrm{\nabla }J(\theta )$. Trung bình $B$ mẫu độc lập giảm từng tọa độ theo hệ số $1/B$.

Xáo trộn rồi duyệt hết một epoch, lấy mẫu không hoàn lại và lấy mẫu có trọng số là những quy trình khác. Công thức và phải được viết theo đúng quy tắc đó. nhỏ của một lô không phải điều kiện dừng đáng tin cậy cho toàn bộ dữ liệu. Nguồn: Deep Learning, §8.1 và §8.3.

Ví dụ

Hai mẫu 0 và −2 có trung bình −1. Trong khi đó, lấy riêng một mẫu cho gradient 0 hoặc −2.

Khi nào cần dùng?

Huấn luyện mô hình khi toàn bộ dữ liệu quá tốn kém.

Câu hỏi ôn lại

lô nhỏ không chệch có bảo đảm loss toàn bộ giảm ở từng bước không?

Xem đáp án

Không. Tính không chệch là phát biểu về , không phải từng lần lấy mẫu.

Thuật ngữ liên quan

• Gradient
• Kỳ vọng
• Phương sai
• Momentum và Nesterov