机器学习-黄迪5 神经网络

VIP免费

2025-01-13 0 0 4.04MB 56 页 5.9玖币

侵权投诉

机器学习

Machine Learning

北京航空航天大学计算机学院智能识别与图像处理实验室

IRIP Lab, School of Computer Science and Engineering, Beihang University

黄迪刘庆杰

2018年秋季学期

Fall 2018

机器学习算法

Classification or

Categorization Clustering

Regression Dimensionality

Reduction

机器学习主要问题

准则函数

Fisher准则

感知机准则

最小平方误差准则

支持向量机

SVM从线性可分情况下的最优分类面发展而来。

最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0)，且

使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面，并且使训

练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的

空白区域(Margin)最大。

支持向量机

线性支持向量机

问题转化为最大化 , 等价于

拉格朗日乘子法

分别对变量求导

代入L得到对偶形式：

凸二次规划问题

二次规划问题

KKT条件

KKT(Karush-Kuhn-Tucker)条件

如果w*,α*, β*满足KKT条件，那么它们就是原问题和对偶问题的解。

补充条件隐含如果，那么，即w处于可行域的边界上，

是起作用的(Active)约束，而位于可行域内部的点都是不起作用的约束，

其。

KKT对偶互补条件

支持向量机

线性支持向量机

KKT条件：

支持向量：

非支持向量：

Class 1

Class 2

wTx+b=1

wTx+b=-1

wTx+b=0

r=(wTx+b)/||w||

超平面法向量是支持向量的线性组合

支持向量机

处理噪声和离群点

引入松弛变量

原有约束

Class 1

Class 2

支持向量机

处理噪声和离群点

这种处理方式也被视为是从硬间隔(Hard Margin)向软间隔(Soft Margin)

的转变。

硬间隔

软间隔

支持向量机

处理噪声和离群点

得到其对偶形式：

对于新样本预测的分类器：

二次规划问题 Class 1

Class 2

非支持向量：

支持向量：

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5.9 玖币 0人已下载

立即下载 VIP免费下载

摘要：

机器学习MachineLearning北京航空航天大学计算机学院智能识别与图像处理实验室IRIPLab,SchoolofComputerScienceandEngineering,BeihangUniversity黄迪刘庆杰2018年秋季学期Fall2018机器学习算法ClassificationorCategorizationClusteringRegressionDimensionalityReduction机器学习主要问题准则函数Fisher准则感知机准则最小平方误差准则支持向量机SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率...

展开>> 收起<<

机器学习-黄迪5 神经网络.pdf

共56页,预览12页

还剩页未读，继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

机器学习-黄迪5 神经网络

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: