Bất đẳng thức Jensen

Với f lồi và X nhận giá trị trong miền xác định của f, ta có $f(\mathbf{E}X)\le \mathbf{E}f(X)$. Với hữu hạn, đó là $f(\sum _i{\theta }_i{x}_i)\le \sum _i{\theta }_{i}f(x_i)$. Với hàm lõm, chiều bất đẳng thức đảo lại.

Lĩnh vực: Tối ưu hóa

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Giải thích kỹ thuật

Đặc trưng cho tính lồi. Bất đẳng thức đúng với mọi phân phối khi và chỉ khi $f$ lồi, vì phân phối hai điểm với xác suất $\theta$ và $1-\theta$ cho đúng bất đẳng thức dây cung.

Khoảng cách Jensen. Hiệu $\mathbf{E}f(X)-f(\mathbf{E}X)$ đo độ cong của $f$ trên vùng mà $X$ . Với $f(x)=x^2$, nó bằng . Khi $X$ ít phân tán, nó xấp xỉ $\frac{1}{2}{f}^{″}(\mathbf{E}X)\mathrm{Var}(X)$.

ELBO. Với hàm lõm $\log$, ta có $\log {\mathbf{E}}_q[p(x,z)/q(z)]\ge {\mathbf{E}}_q[\log (p(x,z)/q(z))]$. Vế phải là cận dưới được tối ưu trong suy luận biến phân, và cận chặt khi $q$ đúng bằng phân phối hậu nghiệm. Nguồn: Convex Optimization, §3.1.8–3.1.9.

Ví dụ

Với $f(x)=x^2$ và $X$ phân phối đều trên $\{1,2,3,4\}$, giá trị $\mathbf{E}{X}^2=7.5$ lớn hơn $(\mathbf{E}X{)}^2=6.25$, và hiệu $1.25$ chính là .

Khi nào cần dùng?

Chứng minh AM–GM, Hölder, cận dưới ELBO và giải thích tác động của nhiễu lên một .

Câu hỏi ôn lại

Áp dụng Jensen cho hàm lõm $\log$ cho bất đẳng thức gì?

Xem đáp án

$\frac{1}{n}\sum _i\log x_i\le \log (\frac{1}{n}\sum _i{x}_i)$. Lấy mũ hai vế được trung bình nhân không vượt trung bình cộng.

Thuật ngữ liên quan

• Hàm lồi
• Kỳ vọng
• Phương sai