2024秋季-机器学习-第五章-支持向量机

VIP免费
2025-01-13 0 0 2.16MB 54 页 5.9玖币
侵权投诉
机器学习
第五章：支持向量机
北京航空航天大学 人工智能学院
School of Artificial Intelligence，Beihang University
2024年秋季学期
Autumn 2024
1
回顾 –线性分类器设计
⚫利用训练样本建立线性判别函数
 
 


最好的结果一般出现在准则函数的极值点上，所以将分类器设计问题转
化为求准则函数极值,
或的问题。
步骤1：具有类别标志的样本集 或其增广样本集。
步骤2：确定准则函数，满足①是样本集和w, w0或a的函数；②的值
反应分类器的性能，其极值对应“最好”的决策。
步骤3：优化求解准则函数极值,
或 。
最终得到线性判别函数：  
或 = 。对于未知类
别样本xk，计算并通过决策规则判断其类别。 2
准则函数
⚫Fisher准则
⚫感知机准则
⚫最小平方误差准则
3
⚫两类问题的线性分类可采用如下决策规则:
如果 ，则决策
 ，则决策
 ，可将其任意分类或拒绝
⚫ 定义了一个决策面，把两类实例分开。如
果是线性的，则决策面是一个超平面。
⚫如果和都在决策面上，则：
⚫或：
线性判别函数的基本概念
4
⚫对于超平面H上的点和，有：
⚫说明与超平面上任一向量正交，即 ：是的法
向量
线性判别函数的基本概念
⚫一般来说H将空间分成两
个决策域R1和R2。当x在
R1中，g(x)>0, 法向量是指
向R1的。有时称R1中所有
的x在H的正侧，相应地，
R2中的x在H的负侧。
正侧 vs 负侧 5
⚫判别函数也可以看作是特征空间中某个点
x到超平面距离的一种代数度量。若把x表示为：

线性判别函数的基本概念
正侧 vs 负侧
⚫其中，是x到H的射影
向量，是x到H的垂直
距离，
是方向上的
单位向量。
6
⚫可进一步写为：
 

⚫可进一步写为：
⚫若x为原点，则g(x) =
⚫原点到超平面H的距离可以写作：
线性判别函数的基本概念
7
⚫两类样本的线性分类模型:
⚫ 
⚫问题：
⚫如果存在一个线性模型（存在
一个超平面）可以将两类样本
分开，那么是否存在无数条线
可以将两类样本分开？
⚫如果存在无数条线，那么哪条
最优？
⚫如何明确定义“最优”？
引言
线性可分样本集：多解性！
SVM：解决最优超平面的问题 8
⚫引言
⚫线性支持向量机
–对于线性可分样本集如何找出最优分类超平面
⚫非线性支持向量机
–SVM如何推广？
内容
9
⚫C. Cortes和V. Vapnik (1995年发表)
⚫支持向量机(Support Vector Machine)是基于统计
学习理论(Statistical Learning Theory, SLT)发展
起来的一种新的机器学习的方法。直接掀起了统
计学习在2000前后的发展高潮。
⚫统计学习理论主要创立者是Vladimir N. Vapnik。
引言
10
摘要：

机器学习第五章：支持向量机北京航空航天大学人工智能学院SchoolofArtificialIntelligence，BeihangUniversity2024年秋季学期Autumn20241回顾–线性分类器设计⚫利用训练样本建立线性判别函数��=���+����=��+෍�=�...

展开>> 收起<<
2024秋季-机器学习-第五章-支持向量机.pdf

共54页,预览11页

还剩页未读， 继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

相关推荐

更多
立即下载
分类：计算机 价格：5.9玖币 属性：54 页 大小：2.16MB 格式：PDF 时间：2025-01-13

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

热门标签

人际关系 动力学连接体 力的合成 配电装置 高考理综 全宋诗作者索引 公务员考试
/ 54
评分 收藏
分享
立即下载 VIP免费下载
客服
关注