研机器学习5-正则化和稀疏学习-fb

VIP免费
2025-01-13 0 0 2.95MB 97 页 5.9玖币
侵权投诉
机器学习
Machine Learning
北京航空航天大学计算机学院
School of Computer Science and Engineering, Beihang University
黄 迪 刘庆杰 陈佳鑫
2024年秋季学期
Fall 2024
部分内容来源于C. Bishop和A. NG等人的课程以及互联网资源
课前回顾
概述
⚫C. Cortes和V. Vapnik (1995年提出)
支持向量机是基于统计学习理论(Statistical Learning Theory,
SLT)发展起来的一种机器学习的方法。
统计学习理论主要创立者是Vladimir N. Vapnik。
概述
⚫V. Vapnik对于统计机器学习的贡献
1968年，Vapnik和Chervonenkis提出了VC熵和VC
维的概念，这些是统计学习理论的核心概念。同时，
他们发现了泛函空间的大数定理，得到了关于收敛
速度的非渐进界的主要结论。
1974年，Vapnik和Chervonenkis提出了结构风险最
小化归纳原则。
1989年，Vapnik和Chervonenkis发现了经验风险最
小化归纳原则和最大似然方法一致性的充分必要条
件，完成了对经验风险最小化归纳推理的分析。
90年代中期，有限样本情况下的机器学习理论研究
逐渐成熟起来，形成了较完善的理论体系—统计学
习理论。
线性分类模型
⚫两类样本的线性分类问题
支持向量机
⚫SVM从线性可分情况下的最优分类面发展而来。
最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0)，且
使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面，并且使训
练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的
空白区域(Margin)最大。
支持向量机
⚫线性支持向量机
样本集
分类器
支持向量机
⚫线性支持向量机
样本集任意一点 到分类面(满足 )的距离
优化w和b使Margin最大
对于离超平面最近的点
那么对于所有点满足
求解复杂
对于决策超平面的标准表示
Canonical Representation
⚫优化求解
原优化问题转化为二次规划问题











拉格朗日乘子
使用拉格朗日乘子法将上述二次规划问题转化为等价的对偶
问题进行简化求解，拉格朗日函数可以表示为：
支持向量机
⚫优化求解
分别对变量求导
带入拉格朗日函数，得到易于求解的对偶形式







 



 

由于存在不等式约束，需验证最优解是否满足KKT (Karush-
Kuhn-Tucker) 条件，才可以确定对偶问题是否等价于原问题
支持向量机
摘要：

机器学习MachineLearning北京航空航天大学计算机学院SchoolofComputerScienceandEngineering,BeihangUniversity黄迪刘庆杰陈佳豠2024年秋季学期Fall2024部分内容来源于C.Bishop和A.NG等人的课程以及互联网资源课前回顾概述⚫C.Cortes和V.Vapnik(1995年提出)支持向量机是基于统计学习理论(StatisticalLearningTheory,SLT)发展起来的一种机器学习的方法。统计学习理论主要创立者是VladimirN.Vapnik。概述⚫V.Vapnik对于统计机器学习的贡献1968年，Vapnik...

展开>> 收起<<
研机器学习5-正则化和稀疏学习-fb.pdf

共97页,预览20页

还剩页未读， 继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

相关推荐

更多
立即下载
分类：计算机 价格：5.9玖币 属性：97 页 大小：2.95MB 格式：PDF 时间：2025-01-13

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

热门标签

人际关系 配电装置 动力学连接体 力的合成 高考理综 全宋诗作者索引 公务员考试
/ 97
评分 收藏
分享
立即下载 VIP免费下载
客服
关注