Trong các chủ đề trước, mỗi "điểm" trong không gian luôn là một cột hữu hạn chiều. Bài học này đưa ta tới một bước chuyển tư duy trừu tượng quan trọng: Xem mỗi đối xứng là một điểm đơn lẻ trong một không gian vector nhiều chiều, và khảo sát cấu trúc hình học của các . Tập hợp này tạo thành một nón lồi đóng, và khi quan sát trong không gian ba chiều, nó mang hình dáng của một nón kem uốn lượn tuyệt đẹp.

Tại sao tối ưu hóa và học máy lại đặt trọng tâm vào hình học của một các ? Bởi vì rất nhiều đối tượng quyết định then chốt trong học máy chính là các ma trận: Ma trận hiệp phương sai trong mô hình xác suất, ma trận kernel trong máy hỗ trợ (SVM), đo độ cong của hàm mất mát, hay ma trận metric trong học biểu diễn. Ràng buộc "ma trận này phải " xuất hiện ở mọi nhánh của trí tuệ nhân tạo, và việc tập hợp các ma trận đó tạo thành một nón lồi là nền tảng toán học bảo đảm các bài toán này có thể giải được hiệu quả thông qua quy hoạch nửa xác định (SDP).

Kiến thức nền tảng bao gồm định nghĩa , phép phân tích phổ của đối xứng thực và khái niệm nón lồi.

1. Ma trận đối xứng như một điểm trong không gian

Ký hiệu ${\mathbb{S}}^n$ là tất cả các thực đối xứng kích thước $n\times n$:

$${\mathbb{S}}^n=\{X\in {\mathbb{R}}^{n\times n}\mid X=X^T\}.$$

Các phép toán cộng hai đối xứng và nhân một ma trận đối xứng với một số thực luôn tạo ra một ma trận đối xứng. Do đó, ${\mathbb{S}}^n$ là một không gian thực. Số chiều của không gian này là:

$$\dim {\mathbb{S}}^n=\frac{n(n+1)}{2},$$

bởi vì một đối xứng được xác định duy nhất qua các phần tử nằm trên đường chéo chính và các phần tử nằm phía trên đường chéo chính.

Xét trường hợp $n=2$: Mỗi đối xứng $2\times 2$ có dạng:

$$X=\left[\begin{array}{cc}x& y\\ y& z\end{array}\right]$$

được hóa duy nhất bởi bộ ba số thực $(x,y,z)\in {\mathbb{R}}^3$. Vì vậy, không gian ${\mathbb{S}}^2$ đẳng cấu trực tiếp với không gian tọa độ ${\mathbb{R}}^3$, cho phép ta dựng hình và trực quan hóa các tập $2\times 2$ như những vật thể hình học 3D quen thuộc. Khi $n=3$, không gian ${\mathbb{S}}^3$ có số chiều bằng $\frac{3\cdot 4}{2}=6$; dù không thể vẽ trực tiếp trong không gian mắt nhìn, mọi quy luật hình học về đoạn thẳng, và nón đều giữ nguyên hiệu lực toán học.

chuẩn mực trên không gian ${\mathbb{S}}^n$ là tích vô hướng Frobenius (hay vết):

$$⟨X,Y⟩=\mathrm{tr}(XY)=\sum _{i=1}^n\sum _{j=1}^n{X}_{ij}{Y}_{ij}.$$

này tạo nên chuẩn Frobenius $\parallel X{\parallel }_F=\sqrt{\mathrm{tr}(X^2)}=\sqrt{\sum _{i,j}{X}_{ij}^2}$, đóng vai trò tự nhiên trên không gian các đối xứng.

2. Các tập hợp ma trận đối xứng và ký hiệu

Tương tự như cấu trúc các tập số thực $\mathbb{R}$, tập số không âm ${\mathbb{R}}_{+}$ và tập số dương ${\mathbb{R}}_{++}$, ta phân loại không gian ${\mathbb{S}}^n$ thành ba cơ bản:

• ${\mathbb{S}}^n$: Không gian toàn phần gồm mọi đối xứng cỡ $n\times n$.
• ${\mathbb{S}}_{+}^n=\{X\in {\mathbb{S}}^n\mid X⪰0\}$: Tập các (Positive Semidefinite - PSD), tức thỏa mãn $z^{T}Xz\ge 0$ với mọi $z\in {\mathbb{R}}^n$.
• ${\mathbb{S}}_{++}^n=\{X\in {\mathbb{S}}^n\mid X\succ 0\}$: Tập các xác định dương (Positive Definite - PD), tức thỏa mãn $z^{T}Xz>0$ với mọi $z\ne 0$.

Mối liên hệ tương đương thông qua phân tích phổ:

• Một đối xứng thuộc ${\mathbb{S}}_{+}^n$ khi và chỉ khi toàn bộ các trị riêng của nó không âm: ${\lambda }_i(X)\ge 0,\mathrm{\forall }i=1,\dots ,n$.
• Một đối xứng thuộc ${\mathbb{S}}_{++}^n$ khi và chỉ khi toàn bộ các trị riêng của nó dương chặt: ${\lambda }_i(X)>0,\mathrm{\forall }i=1,\dots ,n$.

Nói cách khác, điều kiện $X⪰0$ phản ánh rằng hành xử như một "số không âm đa chiều", không làm đổi chiều bất kỳ nào khi tính dạng toàn phương $z^{T}Xz$.

3. Bản chất nón lồi và tính chất nón chính quy của ${\mathbb{S}}_{+}^n$

Mệnh đề. ${\mathbb{S}}_{+}^n$ là một nón lồi: Nếu $A,B\in {\mathbb{S}}_{+}^n$ và các hệ số ${\theta }_1,{\theta }_2\ge 0$, thì tổ hợp nón ${\theta }_{1}A+{\theta }_{2}B\in {\mathbb{S}}_{+}^n$.

Chứng minh mệnh đề này bắt nguồn trực tiếp từ tính chất tuyến tính của dạng toàn phương mà không cần thông qua các trị riêng. Với mọi thử $z\in {\mathbb{R}}^n$:

$$z^T({\theta }_{1}A+{\theta }_{2}B)z={\theta }_1{z}^{T}Az+{\theta }_2{z}^{T}Bz\ge 0,$$

bởi vì $z^{T}Az\ge 0$ và $z^{T}Bz\ge 0$ theo giả thiết, kết hợp với các trọng số ${\theta }_1,{\theta }_2\ge 0$. Đẳng thức trên chứng minh rằng: Khi cố định $z$, ánh xạ $X\mapsto z^{T}Xz$ là một hàm tuyến tính theo $X$.

Nhận xét này mang lại một góc nhìn hình học sâu sắc: Với mỗi $z\ne 0$ cố định, dạng toàn phương có thể viết qua Frobenius:

$$z^{T}Xz=\mathrm{tr}(z^{T}Xz)=\mathrm{tr}(Xz{z}^T)=⟨z{z}^T,X⟩.$$

Biểu thức $⟨z{z}^T,X⟩\ge 0$ xác định một nửa không gian đóng đi qua gốc tọa độ trong không gian ${\mathbb{S}}^n$ với pháp tuyến ngoài là hạng một $-z{z}^T$. Do đó, nón ${\mathbb{S}}_{+}^n$ có thể biểu diễn dưới dạng phần giao:

$${\mathbb{S}}_{+}^n=\bigcap _{z\ne 0}\{X\in {\mathbb{S}}^n\mid z^{T}Xz\ge 0\}=\bigcap _{z\ne 0}\{X\in {\mathbb{S}}^n\mid ⟨z{z}^T,X⟩\ge 0\}.$$

Đây là phần giao của vô số nửa không gian đóng. Do đó, ${\mathbb{S}}_{+}^n$ tự động là một và đóng. Khác với đa diện (vốn chỉ là giao của hữu hạn nửa không gian), biên của nón ${\mathbb{S}}_{+}^n$ là một mặt cong trơn từng phần, tạo nên sự phong phú vượt bậc của hình học quy hoạch nửa xác định.

Hơn thế nữa, ${\mathbb{S}}_{+}^n$ là một nón chính quy (proper cone), thỏa mãn đủ bốn tiêu chí:

1. Lồi: Đóng kín với các tổ hợp nón.
2. Đóng: Chứa toàn bộ các điểm giới hạn của nó.
3. Nhọn (pointed): Chứa không chứa bất kỳ đường thẳng đầy đủ nào. Thật vậy, nếu $X\in {\mathbb{S}}_{+}^n$ và $-X\in {\mathbb{S}}_{+}^n$, thì với mọi $z$ ta có $z^{T}Xz\ge 0$ và $-z^{T}Xz\ge 0⟹z^{T}Xz=0$, kéo theo toàn bộ trị riêng của $X$ bằng 0, tức $X=0$.
4. Phần trong khác rỗng: Phần trong topo của nón trong không gian ${\mathbb{S}}^n$ chính là tập các xác định dương: $\mathrm{int}({\mathbb{S}}_{+}^n)={\mathbb{S}}_{++}^n$.

Là một nón chính quy, ${\mathbb{S}}_{+}^n$ thiết lập một thứ tự riêng phần suy rộng (generalized inequality) trên không gian các đối xứng: Ký hiệu $A⪯B$ (hoặc $B⪰A$) mang nghĩa là $B-A\in {\mathbb{S}}_{+}^n$.

4. Hình học trực quan của nón PSD trong không gian ${\mathbb{S}}^2$

Với các đối xứng kích thước $2\times 2$, điều kiện được cụ thể hóa bằng hệ bất đẳng thức vô hướng:

$$\left[\begin{array}{cc}x& y\\ y& z\end{array}\right]⪰0⟺x\ge 0,z\ge 0,xz\ge y^2.$$

Cơ sở toán học: có hai trị riêng ${\lambda }_1,{\lambda }_2$ với tổng bằng vết ${\lambda }_1+{\lambda }_2=x+z$ và tích bằng định thức ${\lambda }_1{\lambda }_2=xz-y^2$. Hai số thực không âm khi và chỉ khi tích của chúng không âm và tổng của chúng không âm. Bất đẳng thức $xz\ge y^2$ kéo theo $xz\ge 0$, buộc $x$ và $z$ cùng dấu; kết hợp với $x+z\ge 0$ dẫn tới $x\ge 0$ và $z\ge 0$.

Đường biên của nón được xác định bởi phương trình mặt cong $xz=y^2$ với $x\ge 0,z\ge 0$. Thực hiện phép đổi biến xoay hệ tọa độ 45° trong mặt phẳng $(x,z)$:

$$u=\frac{x+z}{\sqrt{2}},w=\frac{x-z}{\sqrt{2}}⟺x=\frac{u+w}{\sqrt{2}},z=\frac{u-w}{\sqrt{2}}.$$

Khi đó, tích tọa độ trở thành:

$$xz=\frac{u^2-w^2}{2}\ge y^2⟺w^2+2y^2\le u^2⟺\sqrt{w^2+2y^2}\le u.$$

Kết hợp với điều kiện $u\ge 0$, bất đẳng thức này mô tả một nón bậc hai elip (elliptic second-order cone) trong không gian 3D $(u,w,y)$. Trục đối xứng của nón là tia $u\ge 0,w=0,y=0$ (tức đường phân giác $x=z\ge 0,y=0$, tương ứng với các vô hướng $xI$). Các lát cắt vuông góc với trục đối xứng (tức tại $u=c>0$) là những hình ellipse phẳng $w^2+2y^2\le c^2$.

Mô phỏng 3D dưới đây tái hiện trực quan nón trong không gian tọa độ ${\mathbb{S}}^2$.

Nón PSD trong S²: ma trận [[x, y], [y, z]]

Xoay quanh trục đứng: 35°Góc nhìn từ trên: 22°x = 0.40y = 0.30z = 0.70

Ma trận [[0.40, 0.30], [0.30, 0.70]] có x ≥ 0: đúng, z ≥ 0: đúng, xz − y² = 0.19. Vậy ma trận nửa xác định dương.

Hình vẽ bằng phép chiếu vuông góc, không có phối cảnh, nên chỉ để hình dung hình dạng. Các kết luận trong khung này được tính từ tọa độ, không đọc từ hình.

Mô phỏng tiếp theo khảo sát cùng một theo góc nhìn dạng toàn phương: Vẽ giá trị $v^{T}Xv$ khi đơn vị $v$ quét qua toàn bộ đường tròn đơn vị. Ma trận thuộc ${\mathbb{S}}_{+}^2$ khi và chỉ khi không có bất kỳ hướng nào làm dạng toàn phương nhận giá trị âm.

Dạng toàn phương vᵀXv trên mọi hướng

x = 2.0y = 1.0z = 1.0

X = [[2.0, 1.0], [1.0, 1.0]] có trị riêng λ₁ = 2.62 và λ₂ = 0.38, định thức xz − y² = 1.00.

Ba điều kiện của Ví dụ 2.6: x ≥ 0 đúng, z ≥ 0 đúng, xz ≥ y² đúng.

X xác định dương: mọi vạch đều hướng ra ngoài, vᵀXv > 0 với mọi v ≠ 0.

Gợi ý thao tác

1. Đặt x = z = 1 rồi kéo y từ 0 lên 1.5. Ở giá trị nào của y thì vạch đỏ đầu tiên xuất hiện, và theo hướng nào?
2. Đặt x = z = 1, y = −1. Ma trận có phần tử âm nhưng các vạch ra sao?
3. Hướng dài nhất và ngắn nhất của các vạch trùng với đường nào?

Cực tiểu của dạng toàn phương trên mặt cầu đơn vị chính là trị riêng nhỏ nhất của :

$$\underset{\parallel v{\parallel }_2=1}{min}{v}^{T}Xv={\lambda }_{min}(X).$$

Do đó, $X⪰0$ khi và chỉ khi giá trị hàm mục tiêu nhỏ nhất ${\lambda }_{min}(X)\ge 0$.

5. Những bẫy tư duy phổ biến khi kiểm tra tính nửa xác định dương

Khái niệm gắn liền với dạng toàn phương và phổ trị riêng, không tương đương với dấu của từng phần tử độc lập. Dưới đây là ba cái bẫy thường gặp:

1. Mọi phần tử không âm không bảo đảm tính : Xét $X=\left[\begin{array}{cc}1& 2\\ 2& 1\end{array}\right]$. Tất cả các phần tử đều dương, nhưng định thức là $detX=1-4=-3<0$, cho hai trị riêng là $3$ và $-1$. Chọn $z=(1,-1)$, ta có $z^{T}Xz=1-4+1=-2<0$, chứng minh ma trận không PSD.
2. hoàn toàn có thể chứa các phần tử âm ngoài đường chéo: Xét ma trận $X=\left[\begin{array}{cc}1& -1\\ -1& 1\end{array}\right]$. Các phần tử ngoài đường chéo là số âm, nhưng dạng toàn phương:
   $$z^{T}Xz=z_1^2-2z_1{z}_2+z_2^2=(z_1-z_2{)}^2\ge 0$$
   với mọi $z$. này thuộc ${\mathbb{S}}_{+}^2$ với hai trị riêng là $0$ và $2$.
3. Đường chéo không âm và định thức không âm là chưa đủ khi $n\ge 3$: Xét :
   $$X=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right].$$
   Đường chéo toàn số 0, định thức bằng 0, nhưng khối con góc dưới bên phải có định thức $-1$. Thật vậy, với $z=(0,1,-1)$, ta có $z^{T}Xz=-2<0$.

   Lưu ý quan trọng: Tiêu chuẩn Sylvester (chỉ kiểm tra các định thức con chính dẫn đầu góc trên bên trái) chỉ áp dụng cho xác định dương ($X\succ 0$). Để kiểm tra tính ($X⪰0$), ta bắt buộc phải kiểm tra toàn bộ mọi định thức con chính ở tất cả các vị trí, hoặc tính trực tiếp trị riêng nhỏ nhất.

Trong tính toán thực tế trên máy tính, giải thuật kiểm tra tin cậy và tối ưu nhất là thực hiện phân tích Cholesky ($X=L{L}^T$): Giải thuật sẽ hoàn tất thành công nếu xác định dương và báo lỗi dừng ngay khi gặp phần tử không hợp lệ.

6. Sự hiện diện phổ quát của ma trận PSD trong học máy

xuất hiện tự nhiên tại trung tâm của các mô hình học máy:

Ma trận hiệp phương sai

Cho ngẫu nhiên $x\in {\mathbb{R}}^n$, hiệp phương sai $\mathrm{\Sigma }=\mathrm{Cov}(x)=\mathbb{E}[(x-\mu )(x-\mu {)}^T]$ luôn thuộc ${\mathbb{S}}_{+}^n$. Lý do: Với mọi vector $v\in {\mathbb{R}}^n$, đại lượng toàn phương:

$$v^T\mathrm{\Sigma }v=\mathrm{Var}(v^{T}x)\ge 0,$$

chính là phương sai của biến ngẫu nhiên vô hướng thu được khi chiếu dữ liệu lên phương $v$. Vì phương sai không bao giờ âm, hiệp phương sai luôn luôn .

Ma trận Gram và hàm Kernel

Trong các phương pháp kernel (như SVM Kernel, Gaussian Process), Gram xác định bởi $K_{ij}=k(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$ luôn thuộc ${\mathbb{S}}_{+}^m$ với mọi tập mẫu dữ liệu. Thật vậy, với mọi trọng số $v\in {\mathbb{R}}^m$:

$$v^{T}Kv=\sum _{i=1}^m\sum _{j=1}^m{v}_i{v}_j\varphi (x_i{)}^T\varphi (x_j)={\Vert \sum _{i=1}^m{v}_i\varphi (x_i)\Vert }_2^2\ge 0.$$

Định lý Mercer khẳng định: Một hàm hai biến $k(x,y)$ là một kernel hợp lệ khi và chỉ khi mọi Gram sinh ra từ nó đều thuộc nón ${\mathbb{S}}_{+}^m$.

Ma trận Hessian của hàm lồi

Một hàm khả vi liên tục hai lần $f:{\mathbb{R}}^n\to \mathbb{R}$ là khi và chỉ khi của nó tại mọi điểm: ${\mathrm{\nabla }}^{2}f(x)⪰0,\mathrm{\forall }x$. Chẳng hạn với hàm mất mát bình phương tuyến tính $f(w)=\parallel Xw-y{\parallel }_2^2$, ma trận Hessian là ${\mathrm{\nabla }}^{2}f(w)=2X^{T}X$, chính là một Gram có dạng toàn phương $2\parallel Xz{\parallel }_2^2\ge 0$.

7. Những câu hỏi để đào sâu

Câu 1. đơn vị $I$ nằm ở đâu trong nón ${\mathbb{S}}_{+}^n$: Nằm trên biên hay nằm trong phần trong? Còn ma trận chiếu $P=\mathrm{diag}(1,0)$ thì sao?

Xem lời giải thích

đơn vị $I$ có toàn bộ các trị riêng bằng 1 > 0, do đó $I\in {\mathbb{S}}_{++}^n$, tức nằm sâu trong phần trong của nón. Mọi ma trận đối xứng đủ gần $I$ đều giữ nguyên tính xác định dương. Ma trận đơn vị nằm chính xác trên trục đối xứng của nón vì nó đẳng hướng theo mọi phương. Ngược lại, ma trận $P=\mathrm{diag}(1,0)$ có một trị riêng bằng 0, do đó $P$ nằm trên biên của nón ${\mathbb{S}}_{+}^2$: Chỉ cần một độ lệch âm rất nhỏ ở phần tử thứ hai trên đường chéo là đủ đẩy ma trận ra khỏi nón . Phần trong của nón ${\mathbb{S}}_{+}^n$ chính là tập các ma trận xác định dương ${\mathbb{S}}_{++}^n$.

Câu 2. Tích của hai thuộc ${\mathbb{S}}_{+}^n$ có luôn thuộc ${\mathbb{S}}_{+}^n$ hay không? Xét ví dụ với hai ma trận $A=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]$ và $B=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]$.

Xem lời giải thích

Tích của hai nói chung không phải là ma trận PSD, thậm chí không đối xứng. Với hai ma trận đã cho: Tích là $AB=\left[\begin{array}{cc}1& 1\\ 0& 0\end{array}\right]$, một ma trận không đối xứng nên không thuộc không gian ${\mathbb{S}}^2$. Nón ${\mathbb{S}}_{+}^n$ đóng kín đối với phép cộng và phép nhân vô hướng không âm, nhưng không đóng kín đối với phép nhân ma trận thông thường. Phép biến đổi hợp lệ giữ tính đối xứng và bảo toàn tính PSD là phép liên hợp $B^{T}AB$: Nếu $A⪰0$, thì với mọi $z$ ta có $z^T(B^{T}AB)z=(Bz{)}^{T}A(Bz)\ge 0$, suy ra $B^{T}AB⪰0$ với mọi ma trận $B$.

Câu 3. Tìm tất cả các giá trị $t\in \mathbb{R}$ sao cho $X(t)=\left[\begin{array}{cc}2& t\\ t& 8\end{array}\right]⪰0$. các giá trị $t$ tìm được có hình dạng gì, và vì sao tính chất đó không phải là sự ngẫu nhiên?

Xem lời giải thích

Áp dụng điều kiện cho $2\times 2$: Ta cần $2\ge 0$, $8\ge 0$ và định thức không âm:

$$16-t^2\ge 0⟺t^2\le 16⟺-4\le t\le 4.$$

các giá trị $t$ hợp lệ là đoạn đóng $[-4,4]$, một trong $\mathbb{R}$. Kết quả này không phải ngẫu nhiên: Ánh xạ $t\mapsto X(t)$ là một ánh xạ affine từ $\mathbb{R}$ vào ${\mathbb{S}}^2$, và tập các giá trị $t$ chính là ảnh ngược của nón lồi ${\mathbb{S}}_{+}^2$ qua ánh xạ affine đó. Ảnh ngược affine của một tập lồi luôn luôn là một tập lồi. Hai đầu mút $t=\pm 4$ ứng với suy biến nằm trên biên của nón.

Câu 4. Nếu $X⪰0$, liệu có đúng là mọi phần tử trên đường chéo đều không âm, và ta luôn có $|X_{ij}|\le \sqrt{X_{ii}{X}_{jj}}$ với mọi cặp chỉ số $i,j$ hay không?

Xem lời giải thích

Khẳng định này hoàn toàn đúng. Với mỗi chỉ số $i$, chọn cơ sở đơn vị $e_i$, ta có $e_i^{T}X{e}_i=X_{ii}\ge 0$. Với hai chỉ số phân biệt $i$ và $j$, xét con đối xứng kích thước $2\times 2$ tạo bởi hai hàng và hai cột đó: $\left[\begin{array}{cc}{X}_{ii}& X_{ij}\\ X_{ij}& X_{jj}\end{array}\right]$. Ma trận con này có dạng $W^{T}XW$ với $W=[e_i{e}_j]$, do đó cũng là ma trận . Áp dụng điều kiện định thức cho ma trận $2\times 2$ ta thu được:

$$X_{ii}{X}_{jj}-X_{ij}^2\ge 0⟺X_{ij}^2\le X_{ii}{X}_{jj}⟺|X_{ij}|\le \sqrt{X_{ii}{X}_{jj}}.$$

Trong thống kê, bất đẳng thức này chính là điều kiện hệ số tương quan tuyến tính luôn nằm trong đoạn $[-1,1]$.

8. Bài tập tự luyện

Bài tập 1: Kiểm tra tính chất của ba ma trận đối xứng

Trong các sau, ma trận nào thuộc ${\mathbb{S}}_{+}^2$, ma trận nào thuộc ${\mathbb{S}}_{++}^2$:

• $A=\left[\begin{array}{cc}4& 2\\ 2& 1\end{array}\right]$.
• $B=\left[\begin{array}{cc}3& -1\\ -1& 2\end{array}\right]$.
• $C=\left[\begin{array}{cc}1& 3\\ 3& 4\end{array}\right]$.

Với không thuộc ${\mathbb{S}}_{+}^2$, hãy chỉ ra một $z$ làm cho dạng toàn phương nhận giá trị âm.

Lời giải

Kiểm tra từng theo điều kiện định thức và phần tử đường chéo:

• Với $A$: Phần tử đường chéo $4>0,1>0$, định thức $detA=4\cdot 1-2^2=0$. Vì các phần tử đường chéo dương và định thức bằng 0, ma trận $A$ thuộc ${\mathbb{S}}_{+}^2$ () nhưng không thuộc ${\mathbb{S}}_{++}^2$ (không PD, nằm trên biên). $z=(1,-2)$ cho:

$$z^{T}Az=4-8+4=0.$$

• Với $B$: Phần tử $B_{11}=3>0$, định thức $detB=3\cdot 2-(-1{)}^2=5>0$. Cả hai điều kiện đều dương chặt, do đó $B\in {\mathbb{S}}_{++}^2$ (nằm trong phần trong của nón).
• Với $C$: Định thức $detC=1\cdot 4-3^2=4-9=-5<0$. Vì định thức âm, ma trận $C$ không thuộc ${\mathbb{S}}_{+}^2$. Chọn riêng ứng với trị riêng âm, hoặc thử vector $z=(3,-1)$:
  $$z^{T}Cz=1(3{)}^2+2\cdot 3(3)(-1)+4(-1{)}^2=9-18+4=-5<0.$$

Bài tập 2: Tính chất tổ hợp nón và hiện tượng bù trừ

Cho hai suy biến nằm trên biên của nón gồm ma trận $A=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]$ và ma trận $B=\left[\begin{array}{cc}1& -1\\ -1& 1\end{array}\right]$. Kiểm tra xem $A,B\in {\mathbb{S}}_{+}^2$, tính ma trận tổng $A+B$ và ma trận tổ hợp $2A+3B$, rồi giải thích vì sao hai ma trận này thuộc phần trong của nón mà không cần tính trị riêng.

Lời giải

• Với $A$: Định thức $detA=1-1=0$ và $A_{11}=1\ge 0$, nên $A\in {\mathbb{S}}_{+}^2$.
• Với $B$: Định thức $detB=1-1=0$ và $B_{11}=1\ge 0$, nên $B\in {\mathbb{S}}_{+}^2$.

Tính các :

• $A+B=\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right]=2I$.
• tổ hợp $2A+3B$:

$$2A+3B=\left[\begin{array}{cc}2& 2\\ 2& 2\end{array}\right]+\left[\begin{array}{cc}3& -3\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}5& -1\\ -1& 5\end{array}\right].$$

Cả hai này đều là tổ hợp nón với hệ số dương của hai ma trận thuộc ${\mathbb{S}}_{+}^2$, do đó tự động thuộc ${\mathbb{S}}_{+}^2$ theo tính chất nón lồi. Hơn nữa:

• $A+B=2I$ có định thức bằng 4 > 0, thuộc ${\mathbb{S}}_{++}^2$.
• $2A+3B$ có định thức $5\cdot 5-(-1{)}^2=24>0$ và phần tử đường chéo $5>0$, cũng thuộc ${\mathbb{S}}_{++}^2$.

Giải thích hiện tượng: $A$ suy biến triệt tiêu theo phương $z_A=(1,-1)$ ($z_A^{T}A{z}_A=0$), trong khi ma trận $B$ suy biến triệt tiêu theo phương trực giao $z_B=(1,1)$ ($z_B^{T}B{z}_B=0$). Khi cộng lại, dạng toàn phương theo phương $z_A$ được bù đắp bởi $z_A^{T}B{z}_A=4>0$, còn dạng toàn phương theo phương $z_B$ được bù đắp bởi $z_B^{T}A{z}_B=4>0$. Sự bù trừ này giúp tổng của hai điểm nằm trên biên rơi sâu vào bên trong phần trong của nón.

Bài tập 3: Số chiều và cấu trúc của nón con ma trận đường chéo

Trong không gian ${\mathbb{S}}^{10}$, có bao nhiêu độc lập cần ước lượng cho một hiệp phương sai đầy đủ? Nếu áp dụng giả định ma trận hiệp phương sai là ma trận đường chéo, số tham số giảm còn bao nhiêu? các ma trận đường chéo với các phần tử không âm có phải là một nón lồi con của ${\mathbb{S}}_{+}^{10}$ hay không?

Lời giải

• Số chiều của không gian ${\mathbb{S}}^{10}$ là $\dim {\mathbb{S}}^{10}=\frac{10\cdot 11}{2}=55$. Do đó cần ước lượng 55 độc lập cho một hiệp phương sai đầy đủ.
• Nếu có dạng đường chéo, số cần ước lượng giảm xuống đúng bằng số phần tử đường chéo, tức 10 tham số.
• Tập các đường chéo có phần tử không âm ${\mathcal{D}}_{+}=\{\mathrm{diag}(d_1,\dots ,d_{10})\mid d_i\ge 0,\mathrm{\forall }i\}$ là một nón lồi (đẳng cấu với nón tọa độ ${\mathbb{R}}_{+}^{10}$). Vì mọi ma trận đường chéo có phần tử không âm đều có các trị riêng không âm, ${\mathcal{D}}_{+}$ là một nón lồi con nằm trọn trong nón ${\mathbb{S}}_{+}^{10}$. Giả định ma trận đường chéo giúp giảm đáng kể độ phức tạp tính toán (từ 55 xuống 10 tham số), đổi lại mô hình chấp nhận bỏ qua toàn bộ tương quan chéo giữa các biến ngẫu nhiên.

Tóm tắt

Không gian các đối xứng ${\mathbb{S}}^n$ có số chiều $\frac{n(n+1)}{2}$ và trang bị Frobenius $⟨X,Y⟩=\mathrm{tr}(XY)$. các ${\mathbb{S}}_{+}^n$ tạo thành một nón chính quy (lồi, đóng, nhọn và có phần trong khác rỗng ${\mathbb{S}}_{++}^n$). Nón này được biểu diễn như giao của vô số nửa không gian đóng $\{X\mid z^{T}Xz\ge 0\}$, làm cho đường biên của nó mang tính chất trơn từng phần.

Trong không gian ${\mathbb{S}}^2$ (đẳng cấu với ${\mathbb{R}}^3$), nón ${\mathbb{S}}_{+}^2$ có hình dạng của một nón bậc hai elip có trục đối xứng dọc theo đơn vị $x=z$. Tính chất phụ thuộc vào dạng toàn phương và phổ trị riêng, không phụ thuộc vào dấu của từng phần tử độc lập. Ma trận hiệp phương sai, ma trận Gram trong các phương pháp kernel và của đều thuộc nón PSD vì những lý do đại số và xác suất chặt chẽ. Nón ${\mathbb{S}}_{+}^n$ là nền tảng hình học của bất đẳng thức ma trận tuyến tính (LMI) và quy hoạch nửa xác định (SDP).

Tài liệu tham khảo

• Stephen Boyd, Lieven Vandenberghe, Convex Optimization, Cambridge University Press.