最优化理论与方法课件5newton
VIP免费
2025-01-13
2
0
1.26MB
17 页
5.9玖币
侵权投诉
4 无约束优化的方法：牛顿法 LHY-SMS-BUAA
最优化理论与方法 I ( 最优化基础 )
Newton 法
到目前为止，仅考虑了优化函数的一阶方法 .
已知函数 ，考虑
假设 可否利用函数的二阶信息设计使得在某些条件下，
所得方法比 GD 的收敛速率更快？
min
𝒙∈ℝ
𝑛
𝑓(𝒙)
有两种理解：基于最优化和基于解方程组——本质相同 .
Newton 法及 Newton 型方法
4 无约束优化的方法：牛顿法 LHY-SMS-BUAA
最优化理论与方法 I ( 最优化基础 )
最优化方法中的 Newton 法
基本 / 局部 / 纯粹 Newton 法：
已知 , 考虑
min
𝒙∈ℝ
𝑛
𝑓(𝒙)
𝑓
(
𝒙
)
≈𝑓
(
𝒙
𝑘
)
+∇𝑓
(
𝒙
𝑘
)
𝑇
(
𝒙−𝒙
𝑘
)
+1
2
(
𝒙−𝒙
𝑘
)
𝑇
∇
2
𝑓
(
𝒙
𝑘
) (
𝒙−𝒙
𝑘
)
.
如果 正定，极小化 在 的二阶 Taylor 展式
这里的“基本 / 局部 / 纯粹”指步长
二阶 Taylor 展式的全局极小点是
.
4 无约束优化的方法：牛顿法 LHY-SMS-BUAA
最优化理论与方法 I ( 最优化基础 )
已知根的近似 , 由一阶 Taylor 展式，
𝜑
(
𝑥
)
=𝜑
(
𝑥
𝑘
)
+𝜑
′
(
𝑥
𝑘
) (
𝑥−𝑥
𝑘
)
+𝑜
(
|
𝑥−𝑥
𝑘
|
)
忽略项，得到
𝜑
(
𝑥
𝑘
)
+𝜑
′
(
𝑥
𝑘
) (
𝑥−𝑥
𝑘
)
=0,
当时 , 将该线性方程的解
作为原方程解的近似解，
得
𝑥
𝑘+1
=𝑥
𝑘
−𝜑
(
𝑥
𝑘
)
𝜑
′
(
𝑥
𝑘
)
.
考虑单变量函数 .
目标：求解非线性方程
单变量函数求根的 Newton 法
线性近似的思想！
几何直观：
用直线近似 / 代替曲线 .
tangent
( )
k
x
k
x
1k
x
( )y x
x
y
( ) '( )( )
k k k
y x x x x
4 无约束优化的方法：牛顿法 LHY-SMS-BUAA
最优化理论与方法 I ( 最优化基础 )
已知映射 ，且 . 解方程组：
其中 是 的 Jacobi 矩阵 .
由Taylor 定理得
𝑭
(
𝒙+𝜹
)
=𝐹
(
𝒙
)
+𝐽
𝐹
(
𝒙
)
𝜹+𝑜
(
‖
𝜹
‖
)
置的一阶 Taylor 展式为零 (关于增量的线性方程组 ).
Newton 迭代：
解非线性方程组的 Newton 法
𝑭
(
𝒙
)
=𝟎.
应用此种更新 .
应用：已知 , 对最优性的一阶必要条件
.
𝒙
𝑘+1
=𝒙
𝑘
−∇
2
𝑓
(
𝒙
𝑘
)
−1
∇𝑓
(
𝒙
𝑘
)
.
如果 正定，得基本 Newton 法：
如果 可逆，这时
摘要：
展开>>
收起<<
4无约束优化的方法：牛顿法LHY-SMS-BUAA最优化理论与方法I(最优化基础)Newton法到目前为止，仅考虑了优化函数的一阶方法.已知函数，考虑假设可否利用函数的二阶信息设计使得在某些条件下，所得方法比GD的收敛速率更快？min∈ℝ()有两种理解：基于最优化和基于解方程组——本质相同.Newton法及Newton型方法4无约束优化的方法：牛顿法LHY-SMS-BUAA最优化理论与方法I(最优化基础)最优化方法中的Newton法基本/局部/纯粹Newton法：已知,考虑min∈ℝ()()≈()+∇()(−)+...
声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！
相关推荐
-
工程建设招标投标合同（附件）VIP免费
2024-11-15 16 -
工程建设招标投标合同（动员预付款银行保证书）VIP免费
2024-11-15 11 -
工程建设招标设标合同条件（第1部分）VIP免费
2024-11-15 11 -
工程建设招标设标合同合同条件（第3部分）VIP免费
2024-11-15 10 -
工程建设招标设标合同合同条件（第2部分）VIP免费
2024-11-15 13 -
工程建设监理委托合同VIP免费
2024-11-15 14 -
工程建设监理合同标准条件VIP免费
2024-11-15 11 -
工程技术资料目录VIP免费
2024-11-15 13 -
工程技术咨询服务合同VIP免费
2024-11-15 13 -
工程建设招标投标合同（投标邀请书）VIP免费
2024-11-15 35
分类：计算机
价格：5.9玖币
属性：17 页
大小：1.26MB
格式：PPTX
时间：2025-01-13
渝公网安备50010702506394
