Không gian tự học dành cho sinh viên UET

Chào mừng đến với UETệ

Tìm bài giảng theo học phần, hiểu lại những kiến thức nền và ôn tập theo nhịp học của bạn.

Bài giảng
Đọc Notes, ôn nhanh với Slides và luyện tập qua các bài có lời giải.
Wiki kiến thức
Tra cứu thuật ngữ và bổ sung kiến thức nền ngay khi cần.
Góc học tập
Ôn bằng flashcard, lưu ghi chú và hẹn giờ tập trung.

Bạn có thể xem lại phần giới thiệu ở cuối trang.

Buy me a coffee

Website hoàn toàn miễn phí. Nếu thấy hữu ích, bạn có thể tặng tôi một cốc cà phê theo thông tin dưới đây nhé!

Mã QR chuyển khoản Momo
Ngân hàng
Momo
Tên người nhận
MOMO - TKTH DO MINH TRI
Số tài khoản
01MMTTT0060405229
Skip to content

Đạo hàm, gradient, Hessian và cực trị

Chủ đề 2 / 12
  1. 1. Không gian Euclid, chuẩn và ma trận đối xứng
  2. 2. Đạo hàm, gradient, Hessian và cực trị
  3. 3. Tập lồi, hàm lồi và nghiệm tối ưu
  4. 4. Mô hình tối ưu và hồi quy tuyến tính
  5. 5. Quy hoạch tuyến tính và phân loại bài toán
  6. 6. Giải bài toán ba biến có hàm cos
  7. 7. Lagrangian và điều kiện KKT
  8. 8. Giải KKT theo tham số và tập ràng buộc chặt
  9. 9. Đối ngẫu Lagrange và điều kiện Slater
  10. 10. Bài tập ràng buộc lồi và phi lồi
  11. 11. Quy tắc chuỗi và Taylor nhiều biến
  12. 12. Gradient, backtracking và hướng Newton

Một đạo hàm bằng không có đủ để kết luận đã tìm thấy cực tiểu không? Để trả lời, cần phân biệt điều kiện cần, điều kiện đủ và phạm vi địa phương của mỗi kết luận.

1. Đạo hàm và định lý giá trị trung bình ​

Với hàm một biến khả vi tại x,

f′(x)=limh→0f(x+h)−f(x)h.

Đạo hàm đo tốc độ thay đổi khi bước h tiến về không. Nếu f liên tục trên đoạn nối x0 với x và khả vi trong khoảng giữa hai điểm, định lý giá trị trung bình cho một z nằm giữa chúng sao cho

f(x)−f(x0)x−x0=f′(z).

Tương đương,

f(x)=f(x0)+f′(z)(x−x0).

Công thức phân số giả sử x≠x0. Đây là một đẳng thức tại một điểm trung gian, không phải khẳng định đạo hàm không đổi trên cả khoảng.

2. Taylor bậc hai ​

Nếu f có đạo hàm bậc hai liên tục trên một lân cận của đoạn xét, tồn tại z nằm giữa x0 và x sao cho

f(x)=f(x0)+f′(x0)(x−x0)+12f″(z)(x−x0)2.

Số hạng bậc nhất dự đoán xu hướng, còn số hạng bậc hai đo phần sai lệch do độ cong. Khi viết xấp xỉ bậc hai tại x0, ta thay f″(z) bằng f″(x0) và phải hiểu đó là xấp xỉ, trừ trường hợp hàm toàn phương.

3. Cực tiểu địa phương và Fermat ​

Điểm x0 là cực tiểu địa phương nếu tồn tại ε>0 sao cho

|x−x0|<ε⟹f(x)≥f(x0).

Với bài có miền D, chỉ xét những x∈D. Cực tiểu toàn cục so sánh với mọi điểm khả thi, còn cực tiểu địa phương chỉ so sánh trong một lân cận.

Định lý Fermat. Nếu x0 là điểm trong của miền xác định, f khả vi tại đó và có cực trị địa phương, thì f′(x0)=0.

Điều kiện điểm trong là thiết yếu. Bài min x trên [0,1] đạt tại 0 nhưng đạo hàm bằng 1. Chiều ngược lại của Fermat cũng sai. Chẳng hạn, f(x)=x3 có đạo hàm bằng không tại 0 nhưng không có cực trị ở đó.

Nếu f′(x0)=0 và f″(x0)>0, với f thuộc C2 gần x0, thì x0 là cực tiểu nghiêm địa phương. Hessian một chiều dương giữ số hạng bậc hai dương với mọi dịch chuyển nhỏ khác không. Nếu f″(x0)=0, phép kiểm này chưa kết luận được, như khi so sánh x4 và −x4.

4. Đạo hàm riêng và gradient ​

Với f:Rn→R, đạo hàm riêng thứ i giữ các tọa độ khác cố định. Tại a=(a1,…,an)T,

∂f∂xi(a)=limt→0f(a+tei)−f(a)t,

trong đó ei có tọa độ thứ i bằng 1 và các tọa độ khác bằng 0. Vector a+tei chính là a sau khi thay ai bằng ai+t.

Gom các đạo hàm riêng thành vector cột

∇f(x)=[∂f/∂x1∂f/∂x2⋮∂f/∂xn].

Chỉ tồn tại các đạo hàm riêng chưa đủ để bảo đảm khả vi. Khi dùng gradient để xấp xỉ tuyến tính, ta giả sử f khả vi, chẳng hạn f∈C1 gần điểm xét.

Ví dụ: Tính riêng từng tọa độ

Cho f(x,y,z)=x2+xy+xz. Khi lấy đạo hàm theo x, hai biến còn lại được giữ cố định:

fx=2x+y+z,fy=x,fz=x.

Do đó ∇f=(2x+y+z,x,x)T.

5. Đạo hàm hỗn hợp và Hessian ​

Đạo hàm riêng bậc hai là đạo hàm của một đạo hàm riêng:

∂2f∂xi∂xj=∂∂xi(∂f∂xj).

Nếu f∈C2 gần điểm xét thì có thể đổi thứ tự đạo hàm hỗn hợp. Hessian H=∇2f là ma trận n×n với phần tử

Hij=∂2f∂xi∂xj.

Mỗi hàng ghi đạo hàm của các thành phần gradient theo một tọa độ. Với ví dụ trên,

∇2f=[211100100].

Chẳng hạn, fxx=2, fyx=1 và fzy=0. Tính đối xứng của ma trận phù hợp với điều kiện C2.

6. Điều kiện cực tiểu nhiều biến ​

Giả sử f∈C2 gần điểm trong x0.

  • Nếu x0 là cực tiểu địa phương thì ∇f(x0)=0 và ∇2f(x0)⪰0.
  • Nếu ∇f(x0)=0 và ∇2f(x0)≻0 thì x0 là cực tiểu nghiêm địa phương.

Ma trận PSD có thể có hướng độ cong bằng không. Vì thế PSD tại một điểm dừng chưa đủ cho kết luận cực tiểu. Hơn nữa, điều kiện PD tại một điểm chỉ cho kết luận địa phương. Muốn dùng tính lồi để kết luận toàn cục phải kiểm Hessian trên cả miền thích hợp.

7. Bài tập kết nối hai buổi ​

Bài tập 7: Bài toán ba biến

Xét bài toán tìm giá trị nhỏ nhất trên R3 của

F(x,y,z)=2x2+2xy+y2+xz+2z2+cos⁡x.

Trước hết tính gradient và suy ra y,z theo x tại một điểm dừng.

Lời giải

Ta có

∇F=[4x+2y+z−sin⁡x2x+2yx+4z].

Hai phương trình cuối cho y=−x và z=−x/4. Thay vào phương trình đầu, ta được sin⁡x=7x/4. Đến đây ta đã hoàn thành bước tính đạo hàm và tạo ứng viên. Tuy nhiên, việc chứng nhận tối ưu toàn cục cần kiến thức về tính lồi ở Ôn luyện 2. Lời giải đầy đủ nằm ở bài toán có cos, sau chủ đề tính lồi.

Toàn bộ chủ đề ôn luyệnVề trang chương: bản đồ, Slides và Kiến thức nền
Ảnh & sơ đồ
100%
Ảnh tài liệu được phóng to