最优化理论与方法课件5newton

VIP免费
2025-01-13 0 0 1.26MB 17 页 5.9玖币
侵权投诉
4 无约束优化的方法：牛顿法 LHY-SMS-BUAA
最优化理论与方法 I ( 最优化基础 )
Newton 法
到目前为止，仅考虑了优化函数的一阶方法 .
已知函数 ，考虑
假设 可否利用函数的二阶信息设计使得在某些条件下，
所得方法比 GD 的收敛速率更快？
min
𝒙∈ℝ
𝑛
𝑓(𝒙)
有两种理解：基于最优化和基于解方程组——本质相同 .
Newton 法及 Newton 型方法
4 无约束优化的方法：牛顿法 LHY-SMS-BUAA
最优化理论与方法 I ( 最优化基础 )
最优化方法中的 Newton 法
基本 / 局部 / 纯粹 Newton 法：
已知 , 考虑
min
𝒙∈ℝ
𝑛
𝑓(𝒙)
𝑓
(
𝒙
)
≈𝑓
(
𝒙
𝑘
)
+∇𝑓
(
𝒙
𝑘
)
𝑇
(
𝒙−𝒙
𝑘
)
+1
2
(
𝒙−𝒙
𝑘
)
𝑇
∇
2
𝑓
(
𝒙
𝑘
) (
𝒙−𝒙
𝑘
)
.
如果 正定，极小化 在 的二阶 Taylor 展式
这里的“基本 / 局部 / 纯粹”指步长
二阶 Taylor 展式的全局极小点是
.
4 无约束优化的方法：牛顿法 LHY-SMS-BUAA
最优化理论与方法 I ( 最优化基础 )
已知根的近似 , 由一阶 Taylor 展式，
𝜑
(
𝑥
)
=𝜑
(
𝑥
𝑘
)
+𝜑
′
(
𝑥
𝑘
) (
𝑥−𝑥
𝑘
)
+𝑜
(
|
𝑥−𝑥
𝑘
|
)
忽略项，得到
𝜑
(
𝑥
𝑘
)
+𝜑
′
(
𝑥
𝑘
) (
𝑥−𝑥
𝑘
)
=0,
当时 , 将该线性方程的解
作为原方程解的近似解，
得
𝑥
𝑘+1
=𝑥
𝑘
−𝜑
(
𝑥
𝑘
)
𝜑
′
(
𝑥
𝑘
)
.
考虑单变量函数 .
目标：求解非线性方程
单变量函数求根的 Newton 法
线性近似的思想！
几何直观：
用直线近似 / 代替曲线 .
tangent
( )
k
x
k
x
1k
x
x
y
( ) '( )( )
k k k
y x x x x
 
 
4 无约束优化的方法：牛顿法 LHY-SMS-BUAA
最优化理论与方法 I ( 最优化基础 )
已知映射 ，且 . 解方程组：
其中 是 的 Jacobi 矩阵 .
由Taylor 定理得
𝑭
(
𝒙+𝜹
)
=𝐹
(
𝒙
)
+𝐽
𝐹
(
𝒙
)
𝜹+𝑜
(
‖
𝜹
‖
)
置的一阶 Taylor 展式为零 (关于增量的线性方程组 ).
Newton 迭代：
解非线性方程组的 Newton 法
𝑭
(
𝒙
)
=𝟎.
应用此种更新 .
应用：已知 , 对最优性的一阶必要条件
.
𝒙
𝑘+1
=𝒙
𝑘
−∇
2
𝑓
(
𝒙
𝑘
)
−1
∇𝑓
(
𝒙
𝑘
)
.
如果 正定，得基本 Newton 法：
如果 可逆，这时
摘要：

4无约束优化的方法：牛顿法LHY-SMS-BUAA最优化理论与方法I(最优化基础)Newton法到目前为止，仅考虑了优化函数的一阶方法.已知函数，考虑假设可否利用函数的二阶信息设计使得在某些条件下，所得方法比GD的收敛速率更快？min∈ℝ()有两种理解：基于最优化和基于解方程组——本质相同.Newton法及Newton型方法4无约束优化的方法：牛顿法LHY-SMS-BUAA最优化理论与方法I(最优化基础)最优化方法中的Newton法基本/局部/纯粹Newton法：已知,考虑min∈ℝ()()≈()+∇()(−)+...

展开>> 收起<<
最优化理论与方法课件5newton.pptx

共17页,预览4页

还剩页未读， 继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

相关推荐

更多
立即下载
分类：计算机 价格：5.9玖币 属性：17 页 大小：1.26MB 格式：PPTX 时间：2025-01-13

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

热门标签

人际关系 配电装置 动力学连接体 力的合成 高考理综 全宋诗作者索引 公务员考试
/ 17
评分 收藏
分享
立即下载 VIP免费下载
客服
关注