机器学习-黄迪10 采样方法

VIP免费

2025-01-13 8 0 3.08MB 62 页 5.9玖币

侵权投诉

机器学习

Machine Learning

北京航空航天大学计算机学院智能识别与图像处理实验室

IRIP Lab, School of Computer Science and Engineering, Beihang University

黄迪刘庆杰

2018年秋季学期

Fall 2018

课前回顾

主成分分析-算法

最大方差思想

使用较少的数据维度保留住较多的原数据特性

将D维数据集降为M维，

首先考虑，定义这个空间的投影方向为D维向量

出于方便且不失一般性，令

每个数据点在新空间中表示为

样本均值在新空间中表示为，其中

投影后样本方差表示为

其中原样本方差

最大

主成分分析-算法

最大方差思想

使用较少的数据维度保留住较多的原数据特性

目标是最大化

利用拉格朗日乘子法

对求导置零得到

进一步得到

u1是S的特征向量

u1是S最大特征值对应的特征向量时

方差取到极大值，称u1为第一主成分

主成分分析-算法

最大方差思想

使用较少的数据维度保留住较多的原数据特性

考虑更一般性的情况(), 新空间中数据方差最大的最佳

投影方向由协方差矩阵S的M个特征向量定义,其分

别对应M个最大的特征值

首先获得方差最大的1维，生成该维的补空间；

继续在补空间中获得方差最大的1维，生成新的补空间；

依次循环下去得到M维的空间。

主成分分析-算法

最小均方误差思想

使原数据与降维后的数据(在原空间中的重建)的误差最小

定义一组正交的D维基向量，满足

由于基是完全的，每个数据点可以表示为基向量的线性组合

相当于进行了坐标变换

主成分分析-算法

最小均方误差思想

使原数据与降维后的数据(在原空间中的重建)的误差最小

那么

在M维变量( )生成的空间中对其进行表示

目标最小化失真度

倒数置零得到

独特的共享的

主成分分析-算法

最小均方误差思想

使原数据与降维后的数据(在原空间中的重建)的误差最小

有

拉格朗日乘子法

求导得到

对应失真度为

J最小时取D-M个最小的特征值

主子空间对应M个最大特征值

主成分分析-算法

计算步骤

①计算给定样本的均值和协方差矩阵S;

②计算S的特征向量与特征值；

③将特征值从大到小排列，前

个特征值所对应的

特征向量构成投影矩阵。

主成分分析-应用

利用PCA处理高维数据

在实际应用中，样本维数可能很高，远大于样本的个数

在人脸识别中，1000张人脸图像，每张图像100×100像素

D维空间，N个样本点，

X是N×D维的数据矩阵，其行向量为

可以写为

令，得到

S维数？ 10000×10000

N×N维

D×D维

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5.9 玖币 0人已下载

立即下载 VIP免费下载

摘要：

机器学习MachineLearning北京航空航天大学计算机学院智能识别与图像处理实验室IRIPLab,SchoolofComputerScienceandEngineering,BeihangUniversity黄迪刘庆杰2018年秋季学期Fall2018课前回顾主成分分析-算法最大方差思想使用较少的数据维度保留住较多的原数据特性将D维数据集降为M维，首先考虑，定义这个空间的投影方向为D维向量出于方便且不失一般性，令每个数据点在新空间中表示为样本均值在新空间中表示为，其中投影后样本方差表示为其中原样本方差最大主成分分析-算法最大方差思想使用较少的数据维度保留住较多的原数据特性目标是最大化...

展开>> 收起<<

机器学习-黄迪10 采样方法.pdf

共62页,预览13页

还剩页未读，继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

机器学习-黄迪10 采样方法

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: