研机器学习14-集成学习-刘庆杰

VIP免费

2025-01-13 2 0 3.54MB 63 页 5.9玖币

侵权投诉

机器学习



北京航空航天大学计算机学院

School of Computer Science and Engineering, Beihang University

黄迪刘庆杰陈佳鑫

2024年秋季学期

Fall 2024

部分内容来源于C. Bishop和A. NG等人的课程以及互联网资源

什么是集成学习？

•集成学习的基本概念

•个体与集成

集成学习的基本概念

l集成学习 (Ensemble Learning)

Ø通过构建并结合多个分类器完成学习任务

Ø也称为多分类器系统 (Multi-Classifier System)、基于委员会

的学习 (Committee based Learning) 等

个体学习器1

个体学习器2

个体学习器T

输出结合策略

•同质：基学习器 (Base learner)

•异质：组件学习器 (Component learner)

集成学习的基本概念

l通过将多个学习器进行集成，常可获得比单一学习器

显著优越的泛化性能，这对弱学习器尤为明显

分类器1

分类器2

分类器3分类器4

分类器5

分类器6

弱学习器强学习器

集成

Ø弱学习器：准确率仅比随机猜测略高的学习器

强学习器更强的学习器

集成

Ø强学习器：准确率高并能在多项式时间内完成的学习器

集成学习的基本概念

ü《周易》：二人同心，其利断金

ü孔子：君子周而不比

ü孔子：三人行必有我师焉

ü孟子：天时不如地利，地利不如人和

ü荀子：民齐者强

ü文子：积力之所举，则无不胜也；众智之所为，则无不成也

ü孙武：上下同欲者胜

l我国古代“集成学习”的智慧

集成学习的基本概念

三个臭皮匠，顶个 (赛过) 诸葛亮



l我国古代“集成学习”的智慧

个体与集成

l多个学习器一定比单一学习器性能好吗？

简单示例：在二分类问题中，假定3个分类器在三个样本中的表现如下所示，

其中√表示分类正确，×号表示分类错误，集成结果通过投票 (Voting) 产生

样本1

样本2

样本3

分类器1

√

分类器2

√

分类器3

√

集成

√

样本1

样本2

样本3

分类器1

√

分类器2

√

分类器3

√

集成

√

样本1

样本2

样本3

分类器1

√

分类器2

√

分类器3

√

集成

(a) 集成不起作用 (b) 集成起负作用 (c) 集成提升性能

如何获得比最好的单一学习器更好的性能？集成个体：好而不同

集成学习的基本概念

三个臭皮匠 (裨将)，顶个 (赛过) 诸葛亮



“裨将”在古代指“副将”，原意是指三个副将的智慧能顶一个诸葛亮

“好而不同”

l我国古代“集成学习”的智慧

个体与集成

Ø考虑二分类问题  和真实函数 , 假定基分类器的

错误率为 , 即对每个基分类器  有：

l简单分析

Ø假设集成通过简单投票法结合  个基分类器 

，若有超过

半数的基分类器正确则分类就正确：







个体与集成

Ø考虑二分类问题  和真实函数 , 假定基分类器的

错误率为 , 即对每个基分类器  有：

Ø假设基分类器的错误率相互独立，则由Hoeffding不等式可知:

l简单分析

 







集成的错误率：恰好有 k 个基分类器

分类正确的概率

至多  个基分类器分类正确





Wassily Hoeffding, Probability inequalities for sums of bounded random variables, Journal of the American Statistical Association 58 (301): 13–30, March 1963.

随着集成分类器数目的增加，集成的

错误率将指数级下降，最终趋向于0

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5.9 玖币 0人已下载

立即下载 VIP免费下载

摘要：

机器学习MachineLearning北京航空航天大学计算机学院SchoolofComputerScienceandEngineering,BeihangUniversity黄迪刘庆杰陈佳鑫2024年秋季学期Fall2024部分内容来源于C.Bishop和A.NG等人的课程以及互联网资源什么是集成学习？•集成学习的基本概念•个体与集成集成学习的基本概念l集成学习(EnsembleLearning)Ø通过构建并结合多个分类器完成学习任务Ø也称为多分类器系统(Multi-ClassifierSystem)、基于委员会的学习(CommitteebasedLearning)等个体学习器1个体学习器2个...

展开>> 收起<<

研机器学习14-集成学习-刘庆杰.pdf

共63页,预览13页

还剩页未读，继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

研机器学习14-集成学习-刘庆杰

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: