Bình phương tối thiểu

Bình phương tối thiểu chọn tham số sao cho tổng bình phương các phần dư nhỏ nhất. Khi bình phương, sai lệch âm và dương đều đóng góp một lượng không âm. Hơn nữa, sai lệch lớn đóng góp nhiều hơn vào hàm mục tiêu.

Lĩnh vực: Tối ưu hóa

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Bài giảng dùng khái niệm này

• Ôn tập nền tảng toán học cho AIToán cho AI
• Giới thiệu tối ưu, tập lồi và hàm lồiToán cho AI

Giải thích kỹ thuật

Dạng . Với $A\in {\mathbb{R}}^{m\times n}$, $b\in {\mathbb{R}}^m$, bài bình phương tối thiểu là $\underset{x}{min}\parallel Ax-b{\parallel }_2^2$. của nửa tổng bình phương là $A^T(Ax-b)$. Mọi nghiệm thỏa phương trình chuẩn $A^{T}Ax=A^{T}b$.

Nếu các cột của A , $A^{T}A$ dương xác định và nghiệm duy nhất. Khi tính số, giải bằng QR hoặc SVD thường ổn định hơn việc lập nghịch đảo $(A^{T}A{)}^{-1}$. Dưới giả định độc lập, cùng cố định, tương đương cực tiểu tổng bình phương phần dư. Nguồn: Convex Optimization, §1.2.1, §7.1 và phụ lục A.5.

Ví dụ

Với phần dư $r=(1,-2)$, tổng bình phương là $1^2+(-2{)}^2=5$.

Khi nào cần dùng?

Khớp mô hình tuyến tính, ước lượng dưới và xây .

Câu hỏi ôn lại

Đổi mọi phần dư r thành −r có làm tổng bình phương thay đổi không?

Xem đáp án

Không. Mỗi phần dư xuất hiện dưới dạng $r^2$.

Thuật ngữ liên quan

• Ma trận
• Gradient
• Phân phối Gauss
• Likelihood