Giao diện
Mỗi ngày, chúng ta đưa ra hàng chục quyết định với mong muốn đạt được kết quả "tốt nhất có thể": Lựa chọn cung đường di chuyển để giảm thiểu thời gian tắc đường, phân bổ ngân sách và thời gian ôn luyện giữa các môn thi, hoặc xác định bộ trọng số tối ưu cho một mạng nơ-ron sâu trong trí tuệ nhân tạo. Tối ưu hóa toán học bắt đầu bằng một nhiệm vụ tưởng chừng hiển nhiên nhưng đòi hỏi sự chuẩn xác khắt khe: Đặc tả hình thức bài toán.
Phần lớn thất bại khi giải quyết các bài toán tối ưu trong thực tế không xuất phát từ sự hạn chế của thuật toán tính toán, mà bắt nguồn từ việc mô hình toán học được thiết lập chưa phản ánh đúng bản chất câu hỏi cần giải quyết.
Bài giảng này trang bị ngôn ngữ nền tảng của lý thuyết tối ưu hóa: Phân biệt rạch ròi giữa biến quyết định, hàm mục tiêu và các ràng buộc. Đồng thời, chúng ta sẽ làm sáng tỏ sự khác biệt bản chất giữa giá trị tối ưu và nghiệm tối ưu, khảo sát các tình huống bài toán bất khả thi hoặc không bị chặn, và phân tích ranh giới cốt lõi giữa cực tiểu cục bộ (local minimum) với cực tiểu toàn cục (global minimum).
1. Bài toán Người cứu hộ
Một người cứu hộ đang đứng trên bãi cát, cách bờ biển
Câu hỏi đặt ra là: Người cứu hộ nên chạy tới vị trí nào trên đường bờ biển rồi mới lao xuống nước để tiếp cận người bị nạn trong thời gian ngắn nhất?
Phân tích hai trực giác ban đầu
Khi đối diện với bài toán này, trực giác thường đưa ra hai phương án đối lập, và cả hai đều chưa phải là phương án tối ưu:
- Phương án đường thẳng ngắn nhất: Chạy và bơi thẳng một mạch từ vị trí đứng đến chỗ người bị nạn (
). Quãng đường này ngắn nhất về mặt hình học ( ), nhưng người cứu hộ phải bơi tới gần dưới nước. Vì tốc độ bơi rất chậm ( ), riêng quãng bơi đã tốn tới , đưa tổng thời gian lên khoảng . - Phương án giảm thiểu quãng bơi: Chạy dọc bờ cát đến đúng vị trí đối diện người bị nạn rồi mới bơi vuông góc ra khơi để quãng đường bơi ngắn nhất có thể (
). Lộ trình này tốn khoảng , nhanh hơn đường thẳng, nhưng vẫn chưa phải là lộ trình nhanh nhất.
Phương án tối ưu thực sự đạt được tại điểm cân bằng hài hòa giữa hai xu hướng hình học trên. Để tìm ra nó, ta cần chuyển hóa bài toán thực tế thành ngôn ngữ toán học.
Thiết lập mô hình toán học
Chọn hệ trục tọa độ với trục hoành
- Vị trí người cứu hộ: Điểm
trên bãi cát ( ). - Vị trí người bị nạn: Điểm
dưới nước ( ). - Vị trí tiếp nước: Điểm rẽ
trên đường bờ biển với hoành độ .
Hình 1.1: Lộ trình của người cứu hộ. Đoạn
Điểm
Giả sử trong mỗi môi trường, người cứu hộ chuyển động theo đường thẳng với vận tốc không đổi. Khi đó, toàn bộ lộ trình được xác định duy nhất bởi hoành độ
Tổng thời gian di chuyển là một theo biến
Trong đó:
- Số hạng thứ nhất
là thời gian chạy trên cát từ tới . - Số hạng thứ hai
là thời gian bơi dưới nước từ tới .
Khi
Giải bài toán trên, ta thu được nghiệm tối ưu:
Tại nghiệm này, người cứu hộ chạy khoảng
Lưu ý: Những giả thiết vừa đặt ra là của người lập mô hình toán học nhằm phản ánh các yếu tố trọng yếu nhất. Trong thực tế, bãi biển có thể có sóng ngầm, dòng chảy siết hoặc vùng nước nông có thể lội nhanh hơn bơi. Mỗi chi tiết thực tế được bổ sung sẽ điều chỉnh hàm mục tiêu
Chạy bao xa rồi mới bơi?
Kéo điểm P dọc mép nước. Đồ thị bên dưới cho biết tổng thời gian T(x) ứng với mỗi điểm xuống nước.
đường đang chọnđoạn thẳng ABgóc với pháp tuyến
Xuống nước tại x = 20.0 m. Chạy 44.7 m mất 8.94 s, bơi 50.0 m mất 33.33 s, tổng cộng T = 42.28 s.
Góc θ₁ ≈ 26.6°, θ₂ ≈ 53.1°. Hai tỉ số sin θ₁ / v₁ = 0.0894 và sin θ₂ / v₂ = 0.5333.
Tỉ số thứ nhất nhỏ hơn, nên T′(x) < 0. Dời P sang phải thì quãng chạy dài thêm, nhưng thời gian bơi giảm nhiều hơn thời gian chạy tăng.
Gợi ý thao tác
- Kéo P từ trái sang phải và nhìn chấm tím trên đồ thị. T giảm rồi tăng: chỗ đổi chiều nằm ở đâu, và lúc đó hai tỉ số trong khung kết quả ra sao?
- Bấm "Đi theo đoạn thẳng AB" rồi "Bơi ít nhất". Phương án nào nhanh hơn, và cả hai còn chậm hơn điểm nhanh nhất bao nhiêu giây?
- Đặt hai vận tốc bằng nhau. Điểm nhanh nhất rơi vào đâu? Giải thích mà không cần tính.
- Cho bơi nhanh hơn chạy, chẳng hạn v₁ = 1.5 và v₂ = 5. Đường nhanh nhất bây giờ bẻ góc theo chiều nào?
- Đổi vận tốc vài lần, mỗi lần bấm "Tới điểm nhanh nhất". Hai tỉ số sin θ / v có còn bằng nhau không?
Tính tối ưu tuyệt đối của lộ trình hai đoạn thẳng
Tại đây xuất hiện một câu hỏi sâu sắc về bản chất tối ưu: Con số
Câu trả lời là không thể, và lập luận toán học hoàn toàn sáng rõ:
- Giả sử người cứu hộ chọn một quỹ đạo tùy ý từ
tới . Gọi là điểm cuối cùng mà quỹ đạo đó tiếp xúc với đường bờ biển trước khi xuống nước hẳn. - Từ
tới , toàn bộ chuyển động diễn ra dưới nước với vận tốc không vượt quá . Quãng đường ngắn nhất giữa hai điểm trong không gian Euclid là đoạn thẳng, do đó thời gian bơi luôn tốn ít nhất giây. - Trước khi tới
, vận tốc di chuyển ở bất kỳ đâu cũng không vượt quá vận tốc tối đa trên cát ( ). Do đó thời gian di chuyển từ tới luôn tốn ít nhất giây. - Cộng hai vế lại, tổng thời gian của bất kỳ lộ trình nào cũng bị chặn dưới bởi
, trong đó là hoành độ của điểm tiếp bờ . Vì với mọi , nên không một đường cong nào có thể nhanh hơn lộ trình hai đoạn thẳng .
Nguyên lý phương pháp luận tối ưu
Một phương án chỉ được khẳng định chắc chắn là tối ưu toàn cục khi ta chứng minh được một ngưỡng chặn lý thuyết đúng cho toàn bộ mọi phương án khả thi, và phương án được chọn đã chạm tới đúng ngưỡng chặn lý thuyết đó.
Mối liên hệ tự nhiên với Định luật khúc xạ Snell
Đạo hàm bậc nhất của hàm thời gian
Quan sát các tam giác vuông trong Hình 1.1:
- Gọi
là góc giữa đoạn chạy và pháp tuyến của bờ biển: . - Gọi
là góc giữa đoạn bơi và pháp tuyến của bờ biển: .
Khi triệt tiêu đạo hàm
Biểu thức này chính là dạng toán học kinh điển của Định luật khúc xạ Snell trong quang học. Trong hiện tượng khúc xạ ánh sáng, tia sáng truyền giữa hai môi trường trong suốt với vận tốc truyền sóng khác nhau. Theo Nguyên lý thời gian cực tiểu của Fermat, tia sáng luôn tự động chọn đường đi sao cho thời gian truyền là nhỏ nhất. Tỉ số vận tốc chạy và bơi
Tại nghiệm tối ưu,
Từ phương trình đại số đến phương pháp tối ưu số học
Khi bình phương hai vế để khử căn thức trong phương trình
Mặc dù phương trình bậc bốn về mặt lý thuyết có công thức nghiệm căn thức Ferrari, nhưng biểu thức giải tích đó quá cồng kềnh và nhạy cảm với sai số làm tròn số học. Trong thực tế tính toán khoa học và trí tuệ nhân tạo, người ta không bao giờ giải nghiệm tường minh đại số cho những bài toán này. Thay vào đó, các thuật toán tối ưu số học (numerical optimization) như phương pháp chia đôi (bisection), thuật toán lặp tiếp tuyến Newton-Raphson, hoặc thuật toán hạ (gradient descent) được áp dụng để tìm ra nghiệm số
Đặc tính toán học cốt lõi bảo đảm điểm dừng duy nhất này chắc chắn là điểm cực tiểu toàn cục trên toàn bộ miền xác định (chứ không phải một điểm dừng cục bộ) chính là tính chất hình học mà chúng ta sẽ khảo sát sâu ở các chủ đề tiếp theo: Hàm thời gian
Ba trụ cột cốt lõi của một bài toán tối ưu
Bài học nhập môn cốt lõi của toàn bộ môn học tối ưu hóa nằm trọn vẹn trong ví dụ trực quan này. Trước khi bắt tay vào tìm lời giải hay áp dụng bất kỳ thuật toán nào, ta bắt buộc phải định nghĩa tường minh ba trụ cột của bài toán:
- Biến quyết định (Ta được quyền lựa chọn đại lượng nào?): Vị trí tiếp nước
trên đường bờ biển. - Hàm mục tiêu (Tiêu chuẩn tối thượng cần tối thiểu hay tối đa hóa là gì?): Giảm thiểu tối đa tổng thời gian di chuyển
. - Ràng buộc (Ranh giới giới hạn không gian hành động là gì?): Vận tốc tối đa trong từng môi trường và khoảng bờ biển cho phép tiếp nước
.
Chỉ cần thay đổi một trong ba trụ cột này, bản chất toán học của bài toán sẽ lập tức biến đổi hoàn toàn. Chẳng hạn, nếu mục tiêu chuyển thành "quãng đường ngắn nhất" thay vì "thời gian ngắn nhất", đoạn thẳng
2. Dạng tổng quát của một bài toán tối ưu
Trong lý thuyết tối ưu hóa toán học, một bài toán tối ưu tổng quát được biểu diễn dưới dạng chuẩn tắc (standard form) như sau:
Trong đó:
là biến quyết định (optimization variables): Các đại lượng ta có quyền điều khiển. là hàm mục tiêu (objective function), hay hàm chi phí (cost function): Thang đo đánh giá chất lượng của từng phương án (giá trị càng nhỏ càng tốt). ( ) là các ràng buộc bất đẳng thức (inequality constraints). ( ) là các ràng buộc đẳng thức (equality constraints).
Khi bài toán không có ràng buộc (
Quy ước đưa vế phải về 0 và quy đổi về bất đẳng thức
- Ràng buộc
được chuyển vế thành . - Ràng buộc
được đổi dấu thành .
Chẳng hạn, bài toán cứu hộ ở Mục 1 có biến quyết định vô hướng
Vì sao phải phân tách rạch ròi giữa Bất đẳng thức và Đẳng thức?
Về mặt thao tác đại số thuần túy, mọi ràng buộc đều có thể quy đổi qua lại lẫn nhau:
- Một ràng buộc đẳng thức
có thể biểu diễn tương đương thành hai bất đẳng thức đồng thời: Cặp điều kiện và . - Ngược lại, một bất đẳng thức
có thể chuyển thành đẳng thức bằng cách bổ sung một biến bù không âm (slack variable) : Phương trình .
Tuy nhiên, trong lý thuyết tối ưu hóa và thực tiễn kỹ nghệ AI, người ta luôn luôn tách biệt rạch ròi hai nhóm ràng buộc
- Bản chất hình học không gian (Geometric Dimensionality):
- Ràng buộc đẳng thức
làm giảm số bậc tự do (số chiều) của không gian tìm kiếm. Mỗi phương trình độc lập giam hãm nghiệm trên một mặt siêu cong mỏng dẹt (hypersurface) có số chiều . - Ràng buộc bất đẳng thức
phân chia không gian thành hai nửa: Miền hợp lệ (vùng bên trong và biên) và miền cấm. Không gian tìm kiếm vẫn giữ nguyên số chiều ban đầu.
- Ràng buộc đẳng thức
- Độ ổn định số học và Giải thuật tính toán (Numerical Algorithm Stability):
- Nếu ta ép một đẳng thức thành hai bất đẳng thức
và , sẽ bị "bóp nghẹt" thành một tập có phần trong rỗng (empty interior). Điều này vi phạm nghiêm trọng điều kiện tiên quyết của các thuật toán điểm trong (Interior-point methods), tiêu biểu là điều kiện Slater, khiến hàm chắn logarit (log-barrier) và số học bị kỳ dị (phát nổ). - Giữ nguyên ràng buộc đẳng thức cho phép máy tính áp dụng các phép khử biến trực tiếp hoặc chiếu lên không gian con trực giao (projected gradient) một cách ổn định và chuẩn xác.
- Nếu ta ép một đẳng thức thành hai bất đẳng thức
- Bản chất ngữ nghĩa của dữ liệu thực tế (Physical & Data Semantics):
- Trong các bài toán thực tế, ràng buộc đẳng thức biểu thị các định luật bảo toàn bất biến của tự nhiên (bảo toàn năng lượng, cân bằng luồng mạng, tổng xác suất phân phối bằng 1).
- Ràng buộc bất đẳng thức biểu thị các giới hạn tài nguyên hữu hạn (ngân sách chi tiêu, dung lượng bộ nhớ GPU, công suất trần của động cơ).
Việc giữ đúng bản chất ngữ nghĩa giúp mô hình trong sáng, dễ giải thích, và tạo điều kiện trực tiếp cho việc phân tích độ nhạy (sensitivity analysis) thông qua các nhân tử Lagrange tương ứng.
Phân biệt Biến quyết định và Dữ liệu bài toán
Một bài toán còn chứa các đại lượng không đổi trong suốt quá trình giải, chẳng hạn tọa độ
Trong học máy, ranh giới này biến chuyển linh hoạt theo ngữ cảnh:
- Trong pha huấn luyện (training phase): trọng số mô hình
là biến quyết định cần tối ưu, còn tập dữ liệu huấn luyện đóng vai trò là cố định. - Trong pha suy luận (inference phase): Bộ trọng số
đã được đóng băng cố định thành , và đầu vào là dữ liệu mới cần xử lý.
Miền xác định của toàn bộ bài toán là giao của miền xác định của hàm mục tiêu và tất cả các hàm ràng buộc:
3. Điểm khả thi, Miền khả thi và Giá trị tối ưu
Một điểm
tất cả các tạo thành miền khả thi (feasible set)
Định nghĩa Giá trị tối ưu qua Infimum
Giá trị tối ưu (optimal value) của bài toán được định nghĩa là:
Ký hiệu
- Nếu bài toán bất khả thi (
), theo quy ước toán học: Giá trị (vì không có bất kỳ lựa chọn hợp lệ nào, chi phí tối thiểu được xem là vô hạn). - Nếu tồn tại một dãy
làm , thì , và ta nói bài toán không bị chặn dưới (unbounded below).
Một
Ba tình huống kinh điển về sự tồn tại của nghiệm
Xét ba bài toán tối ưu một biến sau trên miền mở
| Bài toán trên miền | Giá trị tối ưu | Nghiệm tối ưu | Bản chất toán học |
|---|---|---|---|
| Không tồn tại | Bị chặn dưới bởi 0 nhưng không bao giờ chạm tới 0 khi | ||
| Không tồn tại | Bài toán không bị chặn dưới khi cho | ||
| Giá trị tối ưu đạt được tại duy nhất một điểm dừng |
Trường hợp thứ nhất (
Miền khả thi quyết định nghiệm
Giá trị tối ưu p* = 4.0000, đạt tại x* = 1.0000.
Nghiệm nằm đúng trên cận trên, nên ràng buộc đó chặt (active) tại x*. Bỏ ràng buộc này đi thì nghiệm sẽ thay đổi.
Gợi ý thao tác
- Với (x − 3)², đặt u = 1 rồi kéo u lên quá 3. Khi nào ràng buộc x ≤ u thôi chặt?
- Chọn 1/x và bỏ ràng buộc x ≤ u. Vì sao không có nghiệm dù p* hữu hạn?
- Chọn −log x và bỏ ràng buộc x ≤ u. Điều gì khác với trường hợp 1/x?
- Chọn hàm bậc bốn, đặt l = 0. Nghiệm nhảy sang điểm nào, và vì sao điểm −1.47 không còn được xét?
- Đặt l lớn hơn u. Máy báo gì?
Thử thách tư duy: Tập đóng và Định lý Weierstrass
Nếu bài toán
Xem phân tích chi tiết
Với
Hai chỉ khác nhau đúng một điểm biên, nhưng đó lại chính là điểm tụ mà mọi phương án cải thiện đều hướng về. Theo Định lý Weierstrass, một liên tục trên một tập khả thi đóng và bị chặn (tập compact) khác rỗng luôn luôn đạt giá trị nhỏ nhất toàn cục. Đây là lý do trong thực tế, các ràng buộc bất đẳng thức luôn được thiết lập dưới dạng
4. Nghiệm -gần tối ưu và Tiêu chí dừng thuật toán
Trong tính toán số học trên máy tính, các thuật toán lặp hầu như không bao giờ chạm tới nghiệm chính xác tuyệt đối
Một
Vì đây là bài toán cực tiểu, mọi đều có giá trị mục tiêu không nhỏ hơn
Trên trục giá trị mục tiêu, ta cần tìm một có giá trị nằm trong đoạn từ
Ví dụ: Phân biệt điểm đạt yêu cầu, vượt ngưỡng và không khả thi
Xét bài toán cực tiểu
Cách đọc hình: Trục ngang biểu diễn vị trí
Hai đường ngang đánh dấu
Xét từng điểm trên đồ thị:
- Điểm A: Không khả thi. Tại
, ta có . Giá trị này thấp hơn , nhưng . Vì vậy, A không được gọi là điểm tối ưu hay gần tối ưu của bài toán, dù nó nằm dưới cả hai đường mức. - Điểm S: Tối ưu. Tại
, ta có . Điểm này khả thi và độ chênh lệch so với giá trị tối ưu bằng , nên cũng thỏa điều kiện gần tối ưu. - Điểm B: Gần tối ưu. Tại
, ta có . Điểm này khả thi và nằm giữa hai đường mức. Độ chênh lệch là , nhỏ hơn . - Điểm D: Đúng ngưỡng, vẫn được chấp nhận. Tại
, ta có . Điểm này khả thi và nằm trên đường mức trên. Độ chênh lệch là . Vì định nghĩa dùng dấu , D vẫn là điểm gần tối ưu. - Điểm C: Khả thi nhưng không gần tối ưu. Tại
, ta có . Điểm này thuộc , nhưng nằm phía trên đường mức trên. Độ chênh lệch là , lớn hơn . Điều kiện đúng nhưng chưa đủ để chấp nhận C.
Các khoảng trên trục ngang: Vì
- Đoạn
: Khả thi và gần tối ưu. Cả hai đầu mút đều được tính vào. Đầu trái là điểm tối ưu S, còn đầu phải là điểm D có sai số đúng bằng . - Khoảng
: Khả thi nhưng vượt ngưỡng. Đầu trái không thuộc khoảng này vì D vẫn đạt yêu cầu. Đầu phải thuộc , nhưng có giá trị mục tiêu . - Ngoài đoạn
: Không khả thi. Hình chỉ hiển thị phần , nên vùng vạch xiên minh họa phần bị loại ở bên trái. Các giá trị hoặc cũng không thuộc của bài toán.
Với một , trường hợp
Khái niệm này đóng vai trò quyết định trong việc thiết lập tiêu chí dừng (stopping criteria) của các thuật toán: Nếu ta tìm được một chặn dưới lý thuyết
thì ta có thể khẳng định chắc chắn
Trong ví dụ trên,
Quay lại bài toán người cứu hộ: Vì
Do đó
5. Cực tiểu cục bộ và Cực tiểu toàn cục
Trong bài toán tối ưu tổng quát, ta cần phân biệt rạch ròi hai cấp độ tối ưu:
- Tối ưu toàn cục (Global optimum): Điểm
thỏa mãn với mọi . - Tối ưu cục bộ (Local optimum): Điểm
chỉ tốt hơn các phương án khả thi nằm trong một lân cận bán kính quanh nó:
Trong toàn bộ môn học này, khi dùng từ "nghiệm tối ưu" mà không kèm định ngữ, ta luôn mặc định hiểu là nghiệm tối ưu toàn cục.
Hình 1.2: Đồ thị hàm không lồi với hai lòng máng cực tiểu. Thuật toán leo đồi hoặc hạ gradient cục bộ có thể bị giữ chân và hội tụ nhầm tại cực tiểu cục bộ bên phải.
Xét
- Điểm
có là một cực tiểu cục bộ. - Điểm
có là cực tiểu toàn cục.
Nếu một thuật toán tối ưu chỉ dựa trên thông tin cục bộ tại vị trí hiện tại và xuất phát ở phía bên phải, nó sẽ nhanh chóng trượt xuống đáy
Sự khác biệt giữa cục bộ và toàn cục chính là thách thức lớn nhất của tối ưu hóa phi tuyến tổng quát. Định lý nền tảng hóa giải trọn vẹn nguy cơ rơi vào bẫy cực tiểu cục bộ chính là: Trong bài toán tối ưu lồi, mọi cực tiểu cục bộ đều là cực tiểu toàn cục!
6. Ràng buộc chặt, Ràng buộc thừa và Bài toán khả thi
Tại một
- Ràng buộc bất đẳng thức
được gọi là chặt (active / binding) nếu dấu đẳng thức xảy ra: . - Ngược lại, nếu
, ràng buộc được gọi là không chặt (inactive). - Mọi ràng buộc đẳng thức
luôn chặt tại mọi .
Ý nghĩa hình học: Ràng buộc chặt là ràng buộc mà điểm nghiệm đang chạm trực tiếp vào đường biên giới hạn của nó. Trong khi đó, ràng buộc không chặt vẫn còn một khoảng hở an toàn.
Ví dụ: Minh họa ràng buộc chặt và ràng buộc không chặt
Xét bài toán tìm giá trị vô hướng
- Khi chưa có ràng buộc: Đạo hàm
(trung bình cộng), hàm mục tiêu đạt giá trị . - Nếu bổ sung ràng buộc
: Điểm không còn khả thi. Trên miền , hàm mục tiêu nghịch biến nên nghiệm bị đẩy về biên , giá trị mục tiêu tăng lên . Ràng buộc chặt tại nghiệm và nó trực tiếp định hình nghiệm tối ưu. - Nếu bổ sung ràng buộc
: Điểm vẫn khả thi và thỏa mãn . Nghiệm tối ưu giữ nguyên là . Ràng buộc không chặt tại nghiệm.
Một ràng buộc được gọi là thừa (redundant) nếu việc loại bỏ nó không làm thay đổi
Bài toán khả thi (Feasibility Problem)
Khi hàm mục tiêu đồng nhất bằng 0 (
nếu . nếu .
Bài toán khi đó được gọi là Bài toán khả thi:
Bài toán khả thi không tìm kiếm phương án tốt nhất, mà trả lời câu hỏi tiên quyết: Hệ ràng buộc có mâu thuẫn hay không, và nếu không thì hãy chỉ ra ít nhất một . Trong thực tế, nhiều thuật toán giải tối ưu phức tạp (như Pha 1 của thuật toán Simplex hay phương pháp điểm trong) bắt buộc phải giải một bài toán khả thi trước để tìm điểm xuất phát hợp lệ.
7. Bài toán Cực đại và các Phép biến đổi tương đương
Theo quy ước chuẩn tắc quốc tế trong lý thuyết tối ưu hóa, ta luôn thống nhất làm việc với bài toán cực tiểu hóa. Một bài toán cực đại hóa hàm mục tiêu
Hai bài toán có cùng tập nghiệm tối ưu, trong khi giá trị tối ưu đổi dấu:
Trong học máy, phép biến đổi này được áp dụng liên tục: Thay vì cực đại hóa của mô hình trên tập dữ liệu (Maximum Likelihood Estimation - MLE), người ta cực tiểu hóa hàm đối số âm log-likelihood (Negative Log-Likelihood - NLL):
Phép lấy logarit biến tích thành tổng và bảo toàn nguyên vẹn vị trí cực trị nhờ tính đồng biến ngặt của hàm
8. Ba dạng bài toán thực tế điển hình
Bảng dưới đây minh họa cách mô hình hóa ba bài toán kỹ nghệ điển hình dưới cùng một khuôn dạng toán học:
| Lĩnh vực ứng dụng | Biến quyết định | Hàm mục tiêu | Các ràng buộc tiêu biểu |
|---|---|---|---|
| Phân bổ danh mục đầu tư tài chính | Tỷ trọng vốn đầu tư vào từng mã tài sản | Mức độ rủi ro (phương sai danh mục | Tổng tỷ trọng bằng |
| Thiết kế vi mạch tích hợp (VLSI) | Kích thước hình học (chiều rộng, chiều dài) từng cổng logic | Tổng công suất tiêu thụ điện năng | Giới hạn dung sai chế tạo bán dẫn, diện tích chip tối đa, trễ đường truyền tín hiệu không vượt ngưỡng. |
| Huấn luyện mô hình học máy | trọng số và bias của mạng nơ-ron | Hàm mất mát (MSE, Cross-entropy) cộng số hạng điều chuẩn | Giới hạn chuẩn trọng số ( |
Lưu ý: Nguyên lý mô hình hóa trong AI
Lời giải tối ưu chỉ có giá trị khi mô hình toán học phản ánh trung thực bài toán thực tế. Một mô hình khớp hoàn hảo dữ liệu huấn luyện (loss bằng 0) vẫn có thể thất bại thảm hại khi triển khai thực tế nếu tiêu chí tối ưu hóa không bao hàm khả năng khái quát hóa (generalization) trên dữ liệu mới.
9. Những câu hỏi để đào sâu bản chất
Câu 1. Khẳng định "Một bài toán tối ưu có giá trị tối ưu hữu hạn thì chắc chắn tồn tại nghiệm tối ưu" là đúng hay sai? Hãy nêu một điều kiện đủ để khẳng định trở thành đúng.
Xem phân tích chi tiết
Khẳng định trên là sai. Phản ví dụ kinh điển:
Để khẳng định đúng, theo Định lý Weierstrass: Hàm mục tiêu
Câu 2. Bài toán
Xem phân tích chi tiết
- Với
: Điểm cực tiểu không ràng buộc nằm gọn bên trong khoảng . Do đó nghiệm tối ưu là , giá trị tối ưu bằng . Tại điểm này, , ràng buộc không chặt. - Với
: Hàm nghịch biến trên đoạn này, do đó nghiệm tối ưu bị đẩy sát biên phải với giá trị . Ràng buộc trở thành chặt.
Câu 3. Trong bài toán người cứu hộ, nếu vận tốc bơi dưới nước bằng đúng vận tốc chạy trên cát (
Xem phân tích chi tiết
- Khi
: Hàm thời gian . Tối thiểu hóa thời gian trùng với tối thiểu hóa quãng đường hình học. Theo bất đẳng thức tam giác, , dấu bằng xảy ra khi nằm chính xác trên đoạn thẳng . Điểm tiếp nước tối ưu là giao điểm của với bờ biển ( ). Hệ thức Snell khi đó cho , hai đoạn nối tiếp thẳng hàng không bị bẻ góc. - Khi
(cát) và (nước): Vì , hệ thức Snell buộc . Lộ trình tối ưu sẽ đi gần như vuông góc qua bãi cát để xuống nước sớm nhất, rồi chạy xiên với tốc độ cao trên mặt nước ( ). Quy tắc trực giác: Đi xiên ở môi trường nhanh, đi vuông góc với mặt phân cách ở môi trường chậm.
Câu 4. Hãy tìm một bài toán tối ưu khả thi, bị chặn dưới, có nghiệm, nhưng tập tối ưu chứa vô số điểm.
Xem phân tích chi tiết
Xét bài toán
Câu 5. Hai bài toán
Xem phân tích chi tiết
- Cùng tập nghiệm tối ưu: Vì
là hàm đồng biến ngặt trên , thứ tự giữa các giá trị được bảo toàn tuyệt đối: . Do đó mọi điểm cực tiểu của bài toán này cũng là điểm cực tiểu của bài toán kia. - Giá trị tối ưu khác nhau: Chúng liên hệ qua công thức
(nếu hữu hạn). Đây là minh chứng mẫu mực cho khái niệm hai bài toán tương đương (equivalent problems): Khác nhau về giá trị nhưng bảo toàn trọn vẹn nghiệm tối ưu.
Câu 6. Cận dưới
Xem phân tích chi tiết
Áp dụng bất đẳng thức cho từng số hạng của
Gom các số hạng chứa biến
Để cận dưới hoàn toàn độc lập với biến
Điều kiện để triệt tiêu biến
10. Bài tập tự luyện
Bài tập 1: Bài toán cứu hộ khi bờ biển có chướng ngại vật
Trở lại bài toán người cứu hộ ở Mục 1, nhưng giả sử đoạn bờ biển ứng với
- Viết bài toán tối ưu mới dưới dạng chuẩn tắc.
- Tìm nghiệm tối ưu mới
và cho biết ràng buộc nào chặt tại nghiệm. - Tính đạo hàm
và giải thích vì sao phương trình không thể dùng để tìm nghiệm trong trường hợp này.
Lời giải
- Bài toán dạng chuẩn tắc:(Ràng buộc cũ
trở thành ràng buộc thừa vì đã có ). - Nghiệm tối ưu không ràng buộc
bị vi phạm vì nằm ngoài mới . Tính đạo hàm tại biên: Giá trị . Vì đạo hàm cấp hai trên toàn miền, là hàm tăng ngặt. Do đó với mọi . Hàm thời gian nghịch biến trên toàn bộ miền khả thi . Nghiệm tối ưu mới bắt buộc nằm tại mút biên phải: Ràng buộcchặt tại nghiệm. - Tại nghiệm,
. Đạo hàm không triệt tiêu vì nghiệm nằm tại biên của , nơi người cứu hộ muốn tiếp tục dịch sang phải để bơi ít hơn nhưng rào cản bãi đá đã chặn đứng chuyển động này. Phương trình có nghiệm tại , hoàn toàn nằm ngoài miền khả thi!
Bài tập 2: Xác định giá trị tối ưu và tập tối ưu
Xác định , giá trị tối ưu
với . với . với và . với .
Lời giải
- là đoạn
. Vì , hàm nghịch biến trên đoạn này. Nghiệm tối ưu là , giá trị tối ưu . Tập tối ưu . - là nửa khoảng
. Vì với mọi và tiến dần về khi , giá trị tối ưu là . Tuy nhiên điểm không thuộc miền khả thi, nên không tồn tại nghiệm. Tập tối ưu là rỗng: . - Hệ ràng buộc
và không có điểm chung. rỗng, bài toán bất khả thi: , . - Khi
, hàm . Bài toán không bị chặn dưới: , .
Bài tập 3: Quy chuẩn hóa về dạng chuẩn tắc
Đưa bài toán tối ưu sau về dạng chuẩn tắc:
Lời giải
Chuyển bài toán cực đại thành bài toán cực tiểu hàm đối số âm, chuyển các ràng buộc về dạng vế phải bằng 0:
Bài toán có 4 ràng buộc bất đẳng thức và 0 ràng buộc đẳng thức. Giá trị tối ưu của bài toán cực đại ban đầu bằng
Tóm tắt cốt lõi
- Ba trụ cột của bài toán tối ưu: Biến quyết định (những gì được chọn), Hàm mục tiêu (tiêu chí đánh giá chất lượng) và Các ràng buộc (ranh giới khả thi).
- Giá trị tối ưu vs Nghiệm tối ưu: Giá trị tối ưu
được xác định qua (luôn tồn tại trên ). Nghiệm tối ưu là đạt đúng và có thể không tồn tại dù hữu hạn. - Cực tiểu cục bộ vs Cực tiểu toàn cục: Cực tiểu cục bộ chỉ tốt trong lân cận nhỏ, trong khi cực tiểu toàn cục tốt nhất trên toàn . Tính lồi là bảo chứng vàng giúp hai khái niệm này hợp nhất.
- Bản chất của ràng buộc: Ràng buộc đẳng thức làm giảm số bậc tự do của không gian tìm kiếm, trong khi ràng buộc bất đẳng thức phân chia không gian thành miền hợp lệ và miền cấm. Ràng buộc chặt tại nghiệm là ràng buộc trực tiếp định hình vị trí tối ưu.
Tài liệu đọc thêm và Nghiên cứu chuyên sâu
Dành cho người học muốn nghiên cứu chuyên sâu về nền tảng giải tích của bài toán tối ưu hóa:
- Stephen Boyd & Lieven Vandenberghe, Convex Optimization, Cambridge University Press, Chương 1 (Introduction) và Chương 4 (§4.1: Optimization problem formulation).
- Jorge Nocedal & Stephen J. Wright, Numerical Optimization, Springer, Chương 1 và 2 về các nguyên lý cơ bản của tối ưu hóa liên tục.
- Dimitris Bertsimas & John N. Tsitsiklis, Introduction to Linear Optimization, Athena Scientific, Chương 1 về mô hình hóa các bài toán ra quyết định thực tế.
- Eugene Hecht, Optics, Pearson. Khảo sát chi tiết về Nguyên lý thời gian cực tiểu của Fermat và trong quang hình học.
Bài giảng 01: Nhập môn tối ưu hóa · Chủ đề tiếp theo: Bình phương tối thiểu và Quy hoạch tuyến tính