Không gian tự học dành cho sinh viên UET

Chào mừng đến với UETệ

Tìm bài giảng theo học phần, hiểu lại những kiến thức nền và ôn tập theo nhịp học của bạn.

Bài giảng
Đọc Notes, ôn nhanh với Slides và luyện tập qua các bài có lời giải.
Wiki kiến thức
Tra cứu thuật ngữ và bổ sung kiến thức nền ngay khi cần.
Góc học tập
Ôn bằng flashcard, lưu ghi chú và hẹn giờ tập trung.

Bạn có thể xem lại phần giới thiệu ở cuối trang.

Buy me a coffee

Website hoàn toàn miễn phí. Nếu thấy hữu ích, bạn có thể tặng tôi một cốc cà phê theo thông tin dưới đây nhé!

Mã QR chuyển khoản Momo
Ngân hàng
Momo
Tên người nhận
MOMO - TKTH DO MINH TRI
Số tài khoản
01MMTTT0060405229
Skip to content

Các phép toán giữ tính lồi của tập

Chủ đề 12 / 25
  1. 1. Bài toán tối ưu và những gì cần viết ra
  2. 2. Bình phương tối thiểu và quy hoạch tuyến tính
  3. 3. Đường thẳng, đoạn thẳng và tập affine
  4. 4. Chiều affine và nội tương đối
  5. 5. Tập lồi, tổ hợp lồi và bao lồi
  6. 6. Nón và nón lồi
  7. 7. Siêu phẳng và nửa không gian
  8. 8. Quả cầu và ellipsoid
  9. 9. Quả cầu chuẩn và nón chuẩn
  10. 10. Đa diện và đơn hình
  11. 11. Nón các ma trận nửa xác định dương
  12. 12. Các phép toán giữ tính lồi của tập
  13. 13. Phép phối cảnh và hàm phân tuyến tính
  14. 14. Nón chính quy và bất đẳng thức tổng quát
  15. 15. Siêu phẳng phân tách và siêu phẳng tựa
  16. 16. Nón đối ngẫu và lựa chọn Pareto
  17. 17. Hàm lồi và bất đẳng thức dây cung
  18. 18. Điều kiện bậc nhất: Tiếp tuyến nằm dưới đồ thị
  19. 19. Điều kiện bậc hai và độ cong
  20. 20. Những hàm lồi thường gặp
  21. 21. Epigraph, tập mức dưới và bất đẳng thức Jensen
  22. 22. Các phép toán giữ tính lồi của hàm
  23. 23. Cực tiểu cục bộ và cực tiểu toàn cục
  24. 24. Điều kiện tối ưu bậc nhất trên miền lồi
  25. 25. Nhận diện tính lồi trong mô hình học máy

Đến đây ta đã có một bộ sưu tập các cơ bản: Tập affine, nửa không gian, quả cầu chuẩn, ellipsoid, đa diện, nón bậc hai, nón . Nhưng của một bài toán thật hiếm khi trông giống hệt một trong số đó. Nó thường là một thứ phức tạp hơn, chẳng hạn {x∣∥Ax−b∥2≤r, Cx⪯d}, hay tệ hơn, một tập được định nghĩa bằng vô hạn ràng buộc.

Chứng minh tính lồi trực tiếp từ định nghĩa bằng cách kiểm tra mọi cặp điểm cho từng phức tạp là một quy trình nặng nề và rất dễ sơ suất. Ta sử dụng một phương pháp đại số thanh lịch hơn: Giải tích các (calculus of convex sets): Thiết lập tính lồi của tập hợp cần xét bằng cách chứng minh nó được tạo thành từ các tập lồi cơ bản thông qua những phép toán bảo toàn tính lồi. Tương tự như trong giải tích cổ điển, ta không chứng minh hàm ex2+sin⁡x khả vi bằng định nghĩa giới hạn của số gia, mà áp dụng các quy tắc đạo hàm của tổng, tích và hàm hợp. Hai phép toán cơ bản nhất, giữ vai trò chủ đạo trong bài học này, là phép lấy giao và biến đổi affine.

1. Giao của các tập lồi ​

Mệnh đề. Nếu Sα là với mọi chỉ số α thuộc một tập chỉ số A tùy ý, thì giao ⋂α∈ASα cũng là một tập lồi.

Chứng minh rất ngắn gọn: Nếu hai điểm x1,x2 cùng thuộc phần giao, thì chúng bắt buộc phải thuộc từng tập Sα với mọi α∈A. Do từng Sα là , toàn bộ đoạn thẳng nối hai điểm đó nằm trọn trong từng Sα, và vì thế nằm trọn trong phần giao. Điểm cốt lõi là tập chỉ số A có thể mang lực lượng vô hạn, thậm chí vô hạn không đếm được, mà lập luận logic vẫn bảo toàn nguyên vẹn. Cần ghi nhận rằng không gian con tuyến tính, tập affine và nón lồi cũng khép kín dưới phép giao tùy ý.

Về mặt tối ưu hóa, phép giao tương ứng với hành động bổ sung thêm ràng buộc: Mỗi ràng buộc mới tương đương với việc thu hẹp bằng phần giao với một mới. Nhờ đó, tập đa diện (giao của hữu hạn các nửa không gian đóng và siêu phẳng) luôn lồi. Tương tự, nón S+n (giao của vô hạn các nửa không gian dạng {X∈Sn∣zTXz≥0} ứng với mọi z∈Rn) chắc chắn là một tập lồi.

Một ví dụ giải tích sâu sắc thể hiện rõ nét sức mạnh của phép giao vô hạn: Xét

S={x∈Rm||px(t)|≤1,∀|t|≤π3},px(t)=∑k=1mxkcos⁡(kt).

Mỗi x∈Rm xác định một đa thức lượng giác px(t), và tập S bao gồm toàn bộ các vector x sao cho đồ thị đa thức tương ứng không vượt ra ngoài dải [−1,1] trên đoạn [−π/3,π/3]. Thoạt nhìn, việc xác minh tính lồi trực tiếp là bất khả thi vì đòi hỏi kiểm tra liên tục trên vô số giá trị t. Tuy nhiên, với mỗi giá trị t cố định, điều kiện biên −1≤(cos⁡t,…,cos⁡mt)x≤1 định nghĩa một dải phẳng (slab) kẹp giữa hai siêu phẳng song song, vốn là một đóng. Vì vậy, tập S thực chất là giao của vô số dải phẳng lồi, do đó S chắc chắn là một tập lồi.

Mỗi giá trị t cho một dải, và S là giao của tất cả

x₂x₁t = π/3π1−1

x = (0.50, 0.50) cho p_x(t) = 0.50cos t + 0.50cos 2t. Trên đoạn |t| ≤ π/3, giá trị tuyệt đối lớn nhất là 1.000, đạt tại t ≈ 0.000.

x thuộc S: đồ thị nằm trong dải [−1, 1] trên toàn đoạn được tô.

Gợi ý thao tác
  1. Tăng số dải từ 1 lên 20 và quan sát giao của chúng hình thành dần.
  2. Kéo x tới (1, 1). Đồ thị vượt ngưỡng ở đâu?
  3. Đặt x ở hai điểm khác nhau trong S, rồi ở trung điểm của chúng. Đa thức của trung điểm có quan hệ gì với hai đa thức kia?

Mô phỏng tương tác phía trên minh họa cấu trúc hình học của tập nghiệm dải song song. Bản chất tính lồi của S phản ánh tính tuyến tính của hàm: Đa thức ứng với trung điểm hai chính là trung bình cộng của hai đa thức tương ứng p(x+y)/2(t)=12px(t)+12py(t). Nếu cả hai đa thức thành phần đều nằm trọn trong dải [−1,1], đồ thị trung bình cộng chắc chắn cũng nằm trong dải đó.

Đặc biệt, ta có một định lý đối ngẫu hình học sâu sắc: Mọi đóng trong Rn đều là giao của toàn bộ các nửa không gian đóng chứa nó. Nói cách khác, phép lấy giao các nửa không gian chính là cơ chế phổ quát duy nhất để kiến tạo nên mọi tập lồi đóng.

2. Ảnh và ảnh ngược qua ánh xạ affine ​

Nhắc lại rằng ánh xạ f:Rn→Rm được gọi là affine nếu nó có dạng f(x)=Ax+b với A∈Rm×n và b∈Rm.

Mệnh đề. Nếu S⊆Rn là và f(x)=Ax+b, thì ảnh f(S)={f(x)∣x∈S} là tập lồi trong Rm. Ngược lại, nếu C⊆Rm là tập lồi, thì ảnh ngược f−1(C)={x∈Rn∣f(x)∈C} là tập lồi trong Rn.

Chứng minh cho cả hai chiều đều bắt nguồn từ tính chất bất biến của ánh xạ affine đối với :

f(θx1+(1−θ)x2)=θf(x1)+(1−θ)f(x2),∀θ∈[0,1].
  • Đối với tập ảnh: Lấy hai điểm tùy ý y1,y2∈f(S), tồn tại x1,x2∈S sao cho y1=f(x1) và y2=f(x2). Khi đó θy1+(1−θ)y2=f(θx1+(1−θ)x2). Vì S lồi nên θx1+(1−θ)x2∈S, kéo theo tổ hợp lồi này thuộc f(S).

  • Đối với tập ảnh ngược: Lấy hai điểm x1,x2∈f−1(C), tức f(x1),f(x2)∈C. Khi đó:

    f(θx1+(1−θ)x2)=θf(x1)+(1−θ)f(x2)∈C

    bởi vì C là . Do đó θx1+(1−θ)x2∈f−1(C).

Để không bao giờ nhầm lẫn ở bước này, ta chú ý: Phép lấy ảnh ngược f−1(C) chỉ đòi hỏi tính lồi của tập đích C và tính affine của ánh xạ f, hoàn toàn không yêu cầu biến đổi A phải khả nghịch hay vuông. Ký hiệu f−1(C) biểu thị tập các tiền ảnh (pre-image). Hơn nữa, tính chất này chỉ đúng với ánh xạ affine: Ảnh ngược của một qua một hàm phi tuyến nói chung hoàn toàn không lồi (chẳng hạn ảnh ngược của đoạn lồi [1,4] qua hàm bậc hai f(x)=x2 là hợp của hai đoạn rời nhau [−2,−1]∪[1,2]).

Ánh xạ affine biến đoạn thẳng thành đoạn thẳng

pqf(p)f(q)tập gốcảnh qua f

A = [[1.5, 0.5], [0.0, 1.0]], det A = 1.50.

Điểm vàng bên trái là θp + (1 − θ)q. Ảnh của nó, f(θp + (1 − θ)q) = (1.25, 0.34), trùng với θf(p) + (1 − θ)f(q) = (1.25, 0.34): ánh xạ affine giữ nguyên tỉ lệ trên đoạn thẳng.

Gợi ý thao tác
  1. Chọn hình tròn và thay đổi A. Ảnh luôn có hình gì?
  2. Đặt a₂₁ = a₂₂ = 0. Ảnh của hình vuông còn là hình hai chiều không?
  3. Đổi b mà giữ A. Ảnh thay đổi theo cách nào?

Các phép biến đổi hình học quan trọng là trường hợp đặc biệt của ảnh và ảnh ngược affine:

  • Co giãn và tịnh tiến: Phép phóng đại αS={αx∣x∈S} và phép dịch chuyển S+a={x+a∣x∈S} luôn bảo toàn tính lồi.
  • Phép chiếu tọa độ (Projection): Nếu S⊆Rm×Rn là , thì hình chiếu của nó:
T={x1∈Rm|∃x2∈Rn,(x1,x2)∈S}

cũng là một . Hình chiếu chính là "bóng" của lên không gian con tọa độ.

  • Tổng Minkowski: Tổng của hai S1+S2={x+y∣x∈S1, y∈S2} luôn là một tập lồi. Lý do: Tích Descartes S1×S2 là tập lồi, và S1+S2 chính là ảnh của nó qua ánh xạ affine tuyến tính (x,y)↦x+y.

3. Nhận diện các tập lồi nâng cao qua lăng kính ảnh ngược ​

Sức mạnh thực sự của phép lấy ảnh ngược là biến đổi các miền ràng buộc phức tạp về các cấu trúc hình nón hoặc hình cầu chuẩn quen thuộc:

  • Đa diện: {x∈Rn∣Ax⪯b, Cx=d} chính là ảnh ngược của nón lồi R+m×{0} qua ánh xạ affine f(x)=(b−Ax, d−Cx).
  • Tập nghiệm của bất đẳng thức tuyến tính (LMI): Một điều kiện ràng buộc có dạng
    A(x)=x1A1+⋯+xnAn⪯B,Ai,B∈Sm,
    được gọi là một bất đẳng thức tuyến tính (Linear Matrix Inequality - LMI). Ký hiệu ma trận A(x)⪯B tương đương với B−A(x)⪰0. Tập nghiệm của LMI chính là ảnh ngược của nón S+m qua ánh xạ affine x↦B−A(x), do đó luôn luôn là một . Đây là dạng ràng buộc tổng quát bao trùm toàn bộ họ bài toán quy hoạch nửa xác định (SDP).

Ví dụ: Biểu diễn hình tròn bằng một ràng buộc ma trận tuyến tính LMI

Xét bất đẳng thức : [1+x1x2x21−x1]⪰0. Đây là một LMI cấp 2 theo hai biến số (x1,x2). Theo tiêu chuẩn Sylvester cho ma trận cấp 2, điều kiện tương đương với: Các bất đẳng thức 1+x1≥0, 1−x1≥0 và định thức không âm (1+x1)(1−x1)−x22≥0, tức x12+x22≤1.

Tập nghiệm chính là hình tròn đơn vị đóng. Một miền cong phi tuyến đã được tuyến tính hóa hoàn hảo dưới dạng .

  • Nón hyperbolic: Cho P∈S+n và c∈Rn.
    {x∈Rn∣xTPx≤(cTx)2, cTx≥0}
    chính là ảnh ngược của nón bậc hai chuẩn Lorentz {(z,t)∣∥z∥2≤t, t≥0} qua ánh xạ affine x↦(P1/2x, cTx), do đó luôn là một . Điều kiện nửa không gian cTx≥0 là bắt buộc để loại bỏ phần nón đối xứng hướng xuống phía dưới.
  • Tập Ellipsoid: Khối ellipsoid đóng {x∈Rn∣(x−xc)TP−1(x−xc)≤1} có thể xem đồng thời là ảnh của hình cầu Euclid đơn vị qua ánh xạ affine u↦P1/2u+xc, và là ảnh ngược của hình cầu Euclid qua ánh xạ x↦P−1/2(x−xc).

4. Giao vô hạn trong học máy: Mô hình tối ưu hóa bền vững ​

Trong học máy và lý thuyết điều khiển, các thường xuyên phải đối mặt với nhiễu dữ liệu hoặc tấn công đối kháng. Khái niệm giao vô hạn cung cấp công cụ toán học trực tiếp để giải quyết bài toán này.

Xét một bộ phân loại tuyến tính w cần phân loại chính xác điểm dữ liệu x với nhãn dương một cách an toàn trước mọi nhiễu chặn: Đòi hỏi wT(x+δ)≥1 phải thỏa mãn với mọi nhiễu δ nằm trong hình cầu chuẩn vô hạn ∥δ∥∞≤ε. Với mỗi vector nhiễu δ cố định, ràng buộc trên định nghĩa một nửa không gian đóng theo biến w. các nghiệm w khả thi chính là giao của vô hạn các nửa không gian, do đó bảo đảm tính lồi tuyệt đối.

Hơn thế nữa, bài toán giao vô hạn này có thể rút gọn tường minh: Giá trị nhỏ nhất của lượng dịch chuyển wTδ dưới ràng buộc ∥δ∥∞≤ε đạt được khi δi=−εsign(wi), cho giá trị cực tiểu đúng bằng −ε∥w∥1. Do đó, họ vô hạn các ràng buộc được quy gọn về một bất đẳng thức lồi duy nhất:

wTx−ε∥w∥1≥1.

Sự xuất hiện của số hạng điều chuẩn chuẩn ℓ1 (Lasso regularization) xuất phát một cách tự nhiên từ yêu cầu chống chịu nhiễu đối kháng tồi tệ nhất. Đây cũng là nguyên lý chuyển đổi bài toán tối ưu tuyến tính bền vững (Robust LP) thành bài toán quy hoạch nón bậc hai hoặc quy hoạch tuyến tính tương đương.

5. Những câu hỏi để đào sâu ​

Câu 1. Hình chiếu của một tập không lồi có thể trở thành một được không? Ảnh ngược của một tập không lồi thì sao?

Xem lời giải thích

Hình chiếu của một tập không lồi hoàn toàn có thể là một . Xét đường tròn một chiều {x∈R2∣x12+x22=1}, tập này không lồi vì chỉ gồm đường biên rỗng ruột. Tuy nhiên, hình chiếu của nó lên trục hoành x1 chính là đoạn thẳng đóng [−1,1], vốn là một tập lồi. Vì vậy, tính lồi của hình chiếu không cho phép suy ngược lại tính lồi của tập gốc.

Đối với ảnh ngược, nếu ánh xạ affine là toàn ánh, ảnh ngược của một tập không lồi thường không lồi. Tuy nhiên, nếu ánh xạ suy biến (chẳng hạn ánh xạ hằng số đưa mọi điểm về một giá trị duy nhất), ảnh ngược có thể trở thành toàn bộ không gian Rn, do đó vẫn lồi. Quy tắc logic luôn mang tính một chiều: Tính lồi chỉ được bảo toàn xuôi theo chiều biến đổi affine.

Câu 2. Trong ví dụ đa thức lượng giác, nếu thay đổi điều kiện thành "|px(t)|≤1 với ít nhất một giá trị t∈[−π/3,π/3]", mới có còn lồi không?

Xem lời giải thích

mới sẽ không còn lồi. Việc thay lượng từ "với mọi" bằng "tồn tại" tương đương với việc chuyển từ phép giao các tập hợp sang phép hợp các tập hợp: Đặt Snew=⋃tSt. Hợp của các nói chung không phải là một tập lồi. Chẳng hạn với m=2, hai x=(3,3)T và y=(3,−3)T đều thuộc tập mới vì đa thức của chúng triệt tiêu tại các điểm biên tương ứng. Tuy nhiên trung điểm của chúng là (3,0)T có giá trị đa thức p(t)=3cos⁡t≥1.5>1 tại mọi điểm trên đoạn xét, do đó không thuộc tập hợp, phá vỡ tính lồi.

Câu 3. Tổng Minkowski của hai đoạn thẳng không song song trong mặt phẳng là hình gì? Với S, đẳng thức S+S=2S có luôn đúng không?

Xem lời giải thích

Tổng Minkowski của hai đoạn thẳng đóng không cùng phương trong mặt phẳng chính là một hình bình hành đóng.

Đối với S, nếu S là thì ta luôn có đẳng thức S+S=2S: Mọi phần tử z∈S+S có dạng z=x+y=2(x+y2). Vì S lồi nên trung điểm x+y2∈S, suy ra z∈2S. Ngược lại nếu S không lồi thì đẳng thức này nói chung sai: Chẳng hạn với tập rời rạc S={0,1}, ta có S+S={0,1,2} trong khi 2S={0,2}.

Câu 4. Vì sao miền ràng buộc dạng nón bậc hai {x∈Rn∣∥Ax−b∥2≤cTx+d} luôn là một ?

Xem lời giải thích

này là ảnh ngược của nón bậc hai Lorentz chuẩn K={(z,t)∈Rm+1∣∥z∥2≤t} qua ánh xạ affine x↦(Ax−b, cTx+d). Vì nón Lorentz là một , và phép lấy ảnh ngược qua ánh xạ affine luôn bảo toàn tính lồi, nên tập ràng buộc trên chắc chắn là một tập lồi. Đây chính là cấu trúc mẫu mực trong quy hoạch nón bậc hai (SOCP).

6. Bài tập tự luyện ​

Bài tập 1: Nhận diện phép toán bảo toàn tính lồi

Với mỗi sau đây, hãy xác định các phép toán giữ tính lồi đã tạo ra nó từ các cơ bản:

  • Trường hợp (a): Tập nghiệm {x∈Rn∣∥Ax−b∥2≤r} với bán kính r≥0.
  • Trường hợp (b): các x∈Rn thỏa mãn x⪰0, 1Tx=1 và ∥x−u∥∞≤0.1.
  • Trường hợp (c): Miền phẳng {(x,y)∈R2∣|x|+|y−1|≤1}.
Lời giải
  • Trường hợp (a): Là ảnh ngược của hình cầu đóng Euclid bán kính r qua ánh xạ affine x↦Ax−b.
  • Trường hợp (b): Là giao của đơn hình xác suất (một đa diện lồi) với hình cầu chuẩn ℓ∞ tâm tại u bán kính 0.1. Cả hai đều là nên giao của chúng lồi.
  • Trường hợp (c): Là ảnh ngược của hình cầu chuẩn ℓ1 tâm tại gốc tọa độ qua phép tịnh tiến affine (x,y)↦(x,y−1), tức là hình thoi chuẩn ℓ1 được dời tâm tới điểm (0,1).

Bài tập 2: Tập nghiệm của một LMI cấp hai

Hãy mô tả tường minh tập nghiệm của bất đẳng thức tuyến tính sau trong R2:

S={x∈R2|[x111x2]⪰0}

và giải thích đặc tính hình học của nó.

Lời giải

Theo tiêu chuẩn đối xứng cấp 2 , điều kiện tương đương với hệ sau:

x1≥0,x2≥0,x1x2−1≥0⟺x1x2≥1.

Kết hợp lại, tập nghiệm chính là miền nằm phía trên nhánh hyperbol x2≥1/x1 trong góc phần tư thứ nhất R++2. Tập này là một đóng, được kiến tạo như ảnh ngược của nón qua ánh xạ affine .

Bài tập 3: Ràng buộc tối ưu hóa bền vững

Cho điểm dữ liệu x=(2,1)T và bán kính nhiễu không chắc chắn ε=0.5. Hãy thiết lập ràng buộc bền vững tường minh đối với trọng số w∈R2 dưới điều kiện wT(x+δ)≥1 với mọi ∥δ∥∞≤0.5. Kiểm tra tính khả thi của hai vector w1=(1,1)T và w2=(1,−1)T.

Lời giải

Ràng buộc bền vững tương đương với bất đẳng thức sau:

wTx−ε∥w∥1≥1⟺2w1+w2−0.5(|w1|+|w2|)≥1.
  • Với w1=(1,1)T: Ta có wTx=2(1)+1=3 và ∥w∥1=2. Vế trái bằng 3−0.5(2)=2≥1. Do đó w1 thỏa mãn ràng buộc bền vững.
  • Với w2=(1,−1)T: Ta có wTx=2(1)−1=1 và ∥w∥1=2. Vế trái bằng 1−0.5(2)=0<1. Do đó w2 vi phạm ràng buộc bền vững. Vector nhiễu xấu nhất gây ra vi phạm là δ=(−0.5,0.5)T.

Tóm tắt ​

Phép toán giữ tính lồi cung cấp một khuôn khổ đại số để xây dựng và kiểm tra tính lồi của các miền ràng buộc phức tạp mà không cần dùng đến định nghĩa sơ cấp. Phép giao của một họ tùy ý các (kể cả họ vô hạn) luôn bảo toàn tính lồi, và mọi tập lồi đóng đều biểu diễn được dưới dạng giao của các nửa không gian đóng. Phép lấy ảnh và ảnh ngược qua ánh xạ affine luôn giữ nguyên tính lồi mà không đòi hỏi biến đổi phải khả nghịch.

Thông qua lăng kính ảnh ngược affine, các cấu trúc toán học nâng cao như tập đa diện, tập nghiệm của bất đẳng thức tuyến tính (LMI), nón hyperbolic và khối ellipsoid đều được quy về các nón lồi hoặc hình cầu chuẩn cơ bản. Trong học máy hiện đại, các bài toán tối ưu hóa bền vững trước nhiễu và tấn công đối kháng đều được mô hình hóa tự nhiên thông qua phép giao vô hạn các .

Tài liệu tham khảo ​

  • Stephen Boyd, Lieven Vandenberghe, Convex Optimization, Cambridge University Press.
Toàn bộ chủ đề của Lecture 01Về trang chương: bản đồ, Slides và Kiến thức nền
Ảnh & sơ đồ
100%
Ảnh tài liệu được phóng to