Log-sum-exp và softmax

Hàm log-sum-exp $f(x)=\log (e^{x_1}+\cdots +e^{x_n})$ là một , xấp xỉ trơn của $\underset{i}{max}{x}_i$ với $\underset{i}{max}{x}_i\le f(x)\le \underset{i}{max}{x}_i+\log n$. của nó là softmax, có thành phần thứ i bằng $e^{x_i}/\sum _j{e}^{x_j}$.

Lĩnh vực: Tối ưu hóa

Định nghĩa trên trang này được dùng trong lĩnh vực vừa nêu. Một từ giống nhau ở môn khác có thể mang nghĩa khác.

Giải thích kỹ thuật

Vì sao lồi. bằng $\mathrm{diag}(p)-p{p}^T$ với $p=\mathrm{softmax}(x)$, và $v^T(\mathrm{diag}(p)-p{p}^T)v$ là của nhận giá trị $v_i$ với xác suất $p_i$, nên không âm. Độ cong bằng 0 đúng theo hướng $\mathbf{1}=(1,\dots ,1)$.

Nhiệt độ. Hàm $f_{\beta }(x)=\frac{1}{\beta }\log \sum _i{e}^{\beta x_i}$ thỏa $\underset{i}{max}{x}_i\le f_{\beta }(x)\le \underset{i}{max}{x}_i+\frac{\log n}{\beta }$, và của nó là $\mathrm{softmax}(\beta x)$.

chéo. Với logit $z$ và nhãn $y$, hàm mất mát $\log \sum _j{e}^{z_j}-z_y$ lồi theo $z$ và có $\mathrm{softmax}(z)-e_y$. Nguồn: Convex Optimization, §3.1.5.

Ví dụ

Với $x=(3,1,0)$: $\underset{i}{max}{x}_i=3$, $f(x)\approx 3.170$, và softmax xấp xỉ $(0.844,0.114,0.042)$.

Khi nào cần dùng?

Hàm mất mát chéo theo logit và phiên bản trơn của hàm max trong tối ưu.

Câu hỏi ôn lại

Cộng cùng một hằng số c vào mọi thành phần của x thì softmax thay đổi thế nào?

Xem đáp án

Không đổi, vì $f(x+c\mathbf{1})=f(x)+c$ nên giữ nguyên.

Thuật ngữ liên quan

• Hàm lồi
• Hessian
• Phương sai