研机器学习5-正则化和稀疏学习-fb新

VIP免费

2025-01-13 5 0 2.91MB 95 页 5.9玖币

侵权投诉

机器学习

Machine Learning

北京航空航天大学计算机学院

School of Computer Science and Engineering, Beihang University

黄迪刘庆杰陈佳鑫

2024年秋季学期

Fall 2024

部分内容来源于C. Bishop和A. NG等人的课程以及互联网资源

课前回顾

概述

⚫C. Cortes和V. Vapnik (1995年提出)

支持向量机是基于统计学习理论(Statistical Learning Theory,

SLT)发展起来的一种机器学习的方法。

统计学习理论主要创立者是Vladimir N. Vapnik。

概述

⚫V. Vapnik对于统计机器学习的贡献

1968年，Vapnik和Chervonenkis提出了VC熵和VC

维的概念，这些是统计学习理论的核心概念。同时，

他们发现了泛函空间的大数定理，得到了关于收敛

速度的非渐进界的主要结论。

1974年，Vapnik和Chervonenkis提出了结构风险最

小化归纳原则。

1989年，Vapnik和Chervonenkis发现了经验风险最

小化归纳原则和最大似然方法一致性的充分必要条

件，完成了对经验风险最小化归纳推理的分析。

90年代中期，有限样本情况下的机器学习理论研究

逐渐成熟起来，形成了较完善的理论体系—统计学

习理论。

线性分类模型

⚫两类样本的线性分类问题

支持向量机

⚫SVM从线性可分情况下的最优分类面发展而来。

最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0)，且

使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面，并且使训

练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的

空白区域(Margin)最大。

支持向量机

⚫线性支持向量机

样本集

分类器

支持向量机

⚫线性支持向量机

样本集任意一点到分类面(满足 )的距离

优化w和b使Margin最大

对于离超平面最近的点

那么对于所有点满足

求解复杂

对于决策超平面的标准表示

Canonical Representation

⚫优化求解

原优化问题转化为二次规划问题



 

















 







拉格朗日乘子

使用拉格朗日乘子法将上述二次规划问题转化为等价的对偶

问题进行简化求解，拉格朗日函数可以表示为：

支持向量机

⚫优化求解

分别对变量求导

带入拉格朗日函数，得到易于求解的对偶形式























 



 

 







 





由于存在不等式约束，需验证最优解是否满足KKT (Karush-

Kuhn-Tucker) 条件，才可以确定对偶问题是否等价于原问题

支持向量机

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5.9 玖币 0人已下载

立即下载 VIP免费下载

摘要：

机器学习MachineLearning北京航空航天大学计算机学院SchoolofComputerScienceandEngineering,BeihangUniversity黄迪刘庆杰陈佳豠2024年秋季学期Fall2024部分内容来源于C.Bishop和A.NG等人的课程以及互联网资源课前回顾概述⚫C.Cortes和V.Vapnik(1995年提出)支持向量机是基于统计学习理论(StatisticalLearningTheory,SLT)发展起来的一种机器学习的方法。统计学习理论主要创立者是VladimirN.Vapnik。概述⚫V.Vapnik对于统计机器学习的贡献1968年，Vapnik...

展开>> 收起<<

研机器学习5-正则化和稀疏学习-fb新.pdf

共95页,预览19页

还剩页未读，继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

研机器学习5-正则化和稀疏学习-fb新

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: