最优化理论与方法课件6conjugategradient

VIP免费

2025-01-13 2 0 1.99MB 19 页 5.9玖币

侵权投诉

4 无约束优化的方法：共轭梯度法 LHY-SMS-BUAA

最优化理论与方法 ( 最优化基础

)

简介

 Hestense 与Stiefel(1952 年)提出！作为求解系数矩阵

对称正定的大规模线性方程组的方法；

偏微分方程数值解、信号处理、参数估计和优化方法等

相关计算问题中经常用该方法，通常使用预条件共轭梯

度法 (PCG)！

𝑮 𝒙 = 𝒃

FR 共轭梯度法：

系数矩阵对称正定的线

性方程组的变分刻画！

唯一极小点： . .

已知 ,

Fletcher-Reeves(1964 年)、Polak 与Ribiere(1969

年)等将其推广以极小化非二次函数！

4 无约束优化的方法：共轭梯度法 LHY-SMS-BUAA

最优化理论与方法 ( 最优化基础

)

共轭

已知，定义向量的内积为

定义 4.7.1 已知正定对称矩阵，称向量是 -正交的 /共轭的

(orthogonal/conjugate) ，如果

向量的范数：

向量组即大家熟悉的正交向量组 .

命题 4.7.1 不含零的向量组必线性无关 .

称向量组是的 /共轭的，如果

4 无约束优化的方法：共轭梯度法 LHY-SMS-BUAA

最优化理论与方法 ( 最优化基础

)

共轭方向法

唯一极小点： .

已知 ,

已知不含向量组

对任何，由命题 4.7.1 知存在使得

𝒙

∗

−𝒙

=𝛼

𝒅

+𝛼

𝒅

+⋯+𝛼

𝑛−1

𝒅

𝑛−1

左乘 , 并与做点积

𝛼

𝑘

=𝒅

𝑘

𝑇

𝑮(𝒙

∗

−𝒙

)

𝒅

𝑘

𝑇

𝑮 𝒅

𝒌

𝑮 𝒙

∗

=𝒃

已知

，

𝒙

𝑘

−𝒙

=𝛼

𝒅

+𝛼

𝒅

+⋯+𝛼

𝑘−1

𝒅

𝑘−1

左乘，并与做点积

𝒅

𝑘

𝑇

𝑮

(

𝒙

𝑘

−𝒙

)

𝛼

𝑘

=−𝒅

𝑘

𝑇

∇𝑓(𝒙

𝑘

)

𝒅

𝑘

𝑇

𝑮 𝒅

𝒌

⟺ 𝛼

𝑘

=arg min

𝛼

𝑓(𝒙

𝑘

+𝛼𝒅

𝑘

)

4 无约束优化的方法：共轭梯度法 LHY-SMS-BUAA

最优化理论与方法 ( 最优化基础

)

扩展子空间定理

推论应用精确线搜索的共轭方向法极小化 Hesse 矩阵

为对称正定矩阵的 n元二次函数，至多迭代 n步会终止

于函数的最小点 .

定理 4.7.2 设, 是不含零的 G-正交组 . 那么对于任何，

迭代，其中，

产生的序列满足：对任何 , 在直线

上极小化二次函数，同时也在线性流形 (仿射集 )

上极小化二次函数，且满足

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5.9 玖币 0人已下载

立即下载 VIP免费下载

摘要：

4无约束优化的方法：共轭梯度法LHY-SMS-BUAA最优化理论与方法(最优化基础)简介Hestense与Stiefel(1952年)提出！作为求解系数矩阵对称正定的大规模线性方程组的方法；偏微分方程数值解、信号处理、参数估计和优化方法等相关计算问题中经常用该方法，通常使用预条件共轭梯度法(PCG)！�� = ��FR共轭梯度法：系数矩阵对称正定的线性方程组的变分刻画！唯一极小点：..已知,,Fletcher-Reeves(1964年)、Polak与Ribiere(1969年)等将其推广以极小化非二次函数！4无约束优化的方法：共轭梯度法LHY-SMS-BUAA最优化理论与方法(最优化...

展开>> 收起<<

最优化理论与方法课件6conjugategradient.pptx

共19页,预览4页

还剩页未读，继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

最优化理论与方法课件6conjugategradient

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: