Điều chuẩn: Ridge và lasso

Điều chuẩn thêm vào hàm mục tiêu một số hạng phạt độ lớn của tham số. Ridge, hay điều chuẩn Tikhonov, cực tiểu $\parallel Ax-b{\parallel }_2^2+\mu \parallel x{\parallel }_2^2$ và có nghiệm $(A^{T}A+\mu I{)}^{-1}{A}^{T}b$, luôn tồn tại và duy nhất khi $\mu >0$. Lasso dùng $\mu \parallel x{\parallel }_1$ thay cho $\mu \parallel x{\parallel }_2^2$ và cho nghiệm có thành phần bằng đúng 0. Cả hai là của một bài toán hai mục tiêu giữa sai số và độ lớn tham số.

Lĩnh vực: Tối ưu hóa

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Giải thích kỹ thuật

. Khi $\mu$ chạy từ 0 tới vô hạn, nghiệm ridge $x(\mu )$ đi từ nghiệm chuẩn nhỏ nhất $A^{†}b$ về 0, và vạch ra đường đánh đổi giữa $\parallel Ax-b{\parallel }_2^2$ và $\parallel x{\parallel }_2^2$. Chuẩn ${\ell }_1$ là một xấp xỉ lồi của số thành phần khác 0, vốn không phải hàm tựa lồi, nên lasso được dùng như một cách chọn đặc trưng.

Biến thể. Điều chuẩn trơn $\parallel \mathrm{\Delta }x{\parallel }_2^2$ với $\mathrm{\Delta }$ là toán tử sai phân phạt độ cong thay vì độ lớn. Trọng số $\mu$ cần được chọn bằng một tiêu chí ngoài bài toán, chẳng hạn sai số trên dữ liệu kiểm định. Nguồn: Convex Optimization, §6.3 và §4.7.6.

Ví dụ

Với cùng dữ liệu, ridge làm các hệ số co dần về 0, còn lasso đưa một hệ số về đúng 0 khi trọng số vượt một ngưỡng.

Khi nào cần dùng?

Chống quá khớp, ổn định hệ phương trình gần suy biến, chọn đặc trưng.

Câu hỏi ôn lại

Lasso cho nghiệm thưa còn ridge thì không. Hình học nào giải thích điều đó?

Xem đáp án

Quả cầu chuẩn ${\ell }_1$ có các đỉnh nằm trên các trục, nên đường mức của sai số thường chạm nó tại một đỉnh, nơi một tọa độ bằng 0.

Thuật ngữ liên quan

• Bình phương tối thiểu
• Tối ưu vector và điểm Pareto
• Quy hoạch toàn phương (QP và QCQP)