2024年秋季-第六章-特征选择与提取

VIP免费

2025-01-13 8 0 2.41MB 64 页 5.9玖币

侵权投诉

机器学习

特征选择与提取

北京航空航天大学人工智能学院

School of Artificial Intelligence，Beihang University

2024年秋季学期

Autumn 2024

背景

⚫分类任务：好瓜还是坏瓜?

西瓜特征分类器

(SVM,Beyes,KNN….)

好瓜

坏瓜

⚫原始特征（一次特征）: 西瓜{颜色, 根蒂, 敲声,

纹理, 触感…}

特征是否适合

我们的任务？

背景

举例: 对于一个有经验的瓜农，怎么判断西瓜是好还是坏？

特征结果

颜色：绿色

根蒂：蜷缩

敲声：清脆

纹理：清晰

触感：光滑

好瓜

根蒂：蜷缩

敲声：清脆

纹理：清晰

好瓜

颜色：绿色

① 相比 ②维度高，部分特征冗余，需要选择特征

①

②

③

数据维数

⚫维数(又称维度)

–数学中：独立参数的数目

–物理中：独立时空坐标的数目

“点是0维、直线是1维、平面是2维、体是3维”

点基于点是0维

点基于直线是1维

点基于平面是2维

点基于体是3维

在点上定位一个点,不需要参数

在直线上定位一个点，需要1个参数

在平面上定位一个点，需要2个参数

在体上定位一个点，需要3个参数

降维的基本定义

⚫降维 (Dimensionality Reduction)

➢将高维数据转换为低维数据的技术，同时尽量保留原始数

据的重要信息

观测收集的数据样本虽然

是高维的，但与学习任务

密切相关的也许仅是某个

低维分布，即高维空间中

的一个低维嵌入。

三维空间中观察到的样本点二维空间中的曲面

为什么要降维?

⚫为什么要降维？

➢在原始的高维空间中，包含冗余信息和噪声信息，会在实际应用中引入误差，影

响准确率

➢降维可以提取数据内部的本质结构，减少冗余信息和噪声信息造成的误差，提高

算法效率

⚫一个简单的例子

➢沿x轴拉小球

➢高维观测存在冗余信息

➢如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影

响到分类的效果，产生“特征维数灾难”问题。

➢维数灾难：当维数增加时,输入空间(input space)的大小随维数指数级增加,训练

数据占整个数据空间的比例将急剧下降,这将导致模型的泛化困难。在高维空间中,

样本数据将变得十分稀疏,许多的相似性度量在高维都会失效。8

降维的典型应用

⚫高维特征可视化分析

➢人类无法直观理解高维度特征嵌入，通过降维算法将高维特征投影至二维空间可

视化分析，观察到相似内容的图像、文本在低维可视化空间中具备更相近的空间

位置，便于高维特征的直观理解与科学分析。

降维的典型应用

⚫金融数据分析

➢从大量的金融数据中，降维算法可以识别和提取出主要的、潜在的驱动因子，这

些因子能够解释资产价格变动的大部分原因。通过该分析方法，投资者可以更准

确地理解市场动态，预测未来趋势，以及优化投资策略。

⚫为达到降维的目的，关键是所提供的识别特征应

具有很好的可分性，使分类器容易判别。为此，

需对特征进行选择与提取：

⚫特征选择：

–应去掉模棱两可、不易判别的特征（无关特征）；

–所提供的特征不要重复，即去掉那些相关性强且没

有增加更多分类信息的特征（冗余特征）。

⚫特征提取：

–用映射（或称变换）的方法把原始特征变换为

较少的特征

基本概念

⚫所谓特征选择，就是从n个度量值集合{𝒙𝟏,𝒙𝟐,…,𝒙𝒏}

中，按某一准则选取出供分类用的子集，作为降维

（𝒎维，𝒎 < 𝒏）的分类特征

⚫所谓特征提取，就是使(𝒙𝟏,𝒙𝟐,…,𝒙𝒏)通过某种变换，

产生m个特征(𝒚𝟏,𝒚𝟐,…,𝒚𝒎)(𝒎 < 𝒏) ，作为新的分

类特征（或称为二次特征）

⚫目的：都是为了在尽可能保留识别信息的前提下，

降低特征空间的维数，以达到有效的分类

基本概念

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5.9 玖币 0人已下载

立即下载 VIP免费下载

摘要：

机器学习特征选择与提取1北京航空航天大学人工智能学院SchoolofArtificialIntelligence，BeihangUniversity2024年秋季学期Autumn20243背景⚫分类任务：好瓜还是坏瓜?西瓜特征分类器(SVM,Beyes,KNN….)好瓜坏瓜⚫原始特征（一次特征）:西瓜{颜色,根蒂,敲声,纹理,触感…}特征是否适合我们的任务？4背景举例:对于一个有经验的瓜农，怎么判断西瓜是好还是坏？特征结果颜色：绿色根蒂：蜷缩敲声：清脆纹理：清晰触感：光滑好瓜根蒂：蜷缩敲声：清脆纹理：清晰好瓜颜色：绿色①相比②维度高，部分特征冗余，需要选择特征①②③数据维数⚫维数(又称维度)–...

展开>> 收起<<

2024年秋季-第六章-特征选择与提取.pdf

共64页,预览13页

还剩页未读，继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

2024年秋季-第六章-特征选择与提取

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: