研机器学习14-集成学习-刘庆杰
VIP免费
2025-01-13
2
0
3.54MB
63 页
5.9玖币
侵权投诉
机器学习
北京航空航天大学计算机学院
School of Computer Science and Engineering, Beihang University
黄 迪 刘庆杰 陈佳鑫
2024年秋季学期
Fall 2024
部分内容来源于C. Bishop和A. NG等人的课程以及互联网资源
什么是集成学习？
•集成学习的基本概念
•个体与集成
集成学习的基本概念
l集成学习 (Ensemble Learning)
Ø通过构建并结合多个分类器完成学习任务
Ø也称为多分类器系统 (Multi-Classifier System)、基于委员会
的学习 (Committee based Learning) 等
个体学习器1
个体学习器2
个体学习器T
输出结合策略
•同质：基学习器 (Base learner)
•异质：组件学习器 (Component learner)
集成学习的基本概念
l通过将多个学习器进行集成，常可获得比单一学习器
显著优越的泛化性能，这对弱学习器尤为明显
分类器1
分类器2
分类器3分类器4
分类器5
分类器6
弱学习器 强学习器
集成
Ø弱学习器：准确率仅比随机猜测略高的学习器
强学习器 更强的学习器
集成
Ø强学习器：准确率高并能在多项式时间内完成的学习器
集成学习的基本概念
ü《周易》：二人同心，其利断金
ü孔子：君子周而不比
ü孔子：三人行必有我师焉
ü孟子：天时不如地利，地利不如人和
ü荀子：民齐者强
ü文子：积力之所举，则无不胜也；众智之所为，则无不成也
ü孙武：上下同欲者胜
l我国古代“集成学习”的智慧
集成学习的基本概念
三个臭皮匠，顶个 (赛过) 诸葛亮
l我国古代“集成学习”的智慧
个体与集成
l多个学习器一定比单一学习器性能好吗？
简单示例：在二分类问题中，假定3个分类器在三个样本中的表现如下所示，
其中√表示分类正确，×号表示分类错误，集成结果通过投票 (Voting) 产生
样本1
样本2
样本3
分类器1
√
×
√
分类器2
√
×
√
分类器3
√
×
√
集成
√
×
√
样本1
样本2
样本3
分类器1
√
√
×
分类器2
√
×
√
分类器3
×
√
√
集成
√
√
√
样本1
样本2
样本3
分类器1
×
√
×
分类器2
×
×
√
分类器3
√
×
×
集成
×
×
×
(a) 集成不起作用 (b) 集成起负作用 (c) 集成提升性能
如何获得比最好的单一学习器更好的性能？ 集成个体：好而不同
集成学习的基本概念
三个臭皮匠 (裨将)，顶个 (赛过) 诸葛亮
“裨将”在古代指“副将”，原意是指三个副将的智慧能顶一个诸葛亮
“好而不同”
l我国古代“集成学习”的智慧
个体与集成
Ø考虑二分类问题 和真实函数 , 假定基分类器的
错误率为 , 即对每个基分类器 有：
l简单分析
Ø假设集成通过简单投票法结合 个基分类器
，若有超过
半数的基分类器正确则分类就正确：
个体与集成
Ø考虑二分类问题 和真实函数 , 假定基分类器的
错误率为 , 即对每个基分类器 有：
Ø假设基分类器的错误率相互独立，则由Hoeffding不等式可知:
l简单分析
集成的错误率： 恰好有 k 个基分类器
分类正确的概率
至多 个基分类器分类正确
Wassily Hoeffding, Probability inequalities for sums of bounded random variables, Journal of the American Statistical Association 58 (301): 13–30, March 1963.
随着集成分类器数目的增加，集成的
错误率将指数级下降，最终趋向于0
摘要：
展开>>
收起<<
机器学习MachineLearning北京航空航天大学计算机学院SchoolofComputerScienceandEngineering,BeihangUniversity黄迪刘庆杰陈佳鑫2024年秋季学期Fall2024部分内容来源于C.Bishop和A.NG等人的课程以及互联网资源什么是集成学习？•集成学习的基本概念•个体与集成集成学习的基本概念l集成学习(EnsembleLearning)Ø通过构建并结合多个分类器完成学习任务Ø也称为多分类器系统(Multi-ClassifierSystem)、基于委员会的学习(CommitteebasedLearning)等个体学习器1个体学习器2个...
声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！
相关推荐
-
Michael Moorcock - Elric 6 - StormbringerVIP免费
2024-12-08 8 -
Michael Crichton - PreyVIP免费
2024-12-08 13 -
Mercedes Lackey - WintermoonVIP免费
2024-12-08 9 -
Mercedes Lackey - SE 1- Born To RunVIP免费
2024-12-08 9 -
Mercedes Lackey - Heralds of Valdemar 1 - Arrows Of The QueeVIP免费
2024-12-08 11 -
Melville, Herman - TypeeVIP免费
2024-12-08 16 -
MaryJanice Davidson - [Betsy 5] - Undead and Unpopular (v1.0)VIP免费
2024-12-08 26 -
Marion Zimmer Bradley - Darkover - The Heirs of HammerfellVIP免费
2024-12-08 22 -
MacDonnell, J E - 096 - Execute!VIP免费
2024-12-08 16 -
Lovecraft, H P - The Dream Quest Of Unknown KadadthVIP免费
2024-12-08 26
分类：计算机
价格：5.9玖币
属性：63 页
大小：3.54MB
格式：PDF
时间：2025-01-13
作者详情
-
VP-STO Via-point-based Stochastic Trajectory Optimization for Reactive Robot Behavior Julius Jankowski12 Lara Bruderm uller3 Nick Hawes3and Sylvain Calinon125.9 玖币0人下载
-
WA VEFIT AN ITERATIVE AND NON-AUTOREGRESSIVE NEURAL VOCODER BASED ON FIXED-POINT ITERATION Yuma Koizumi1 Kohei Yatabe2 Heiga Zen1 Michiel Bacchiani15.9 玖币0人下载
相关内容
-
2015年6月英语四级真题答案及解析（卷二）
分类：外语学习
时间：2025-05-02
标签：无
格式：PDF
价格：5.8 玖币
-
2015年6月英语四级真题答案及解析（卷三）
分类：外语学习
时间：2025-05-02
标签：无
格式：PDF
价格：5.8 玖币
-
2016年12月六级（第二套）真题
分类：外语学习
时间：2025-05-02
标签：无
格式：PDF
价格：5.8 玖币
-
2016年12月六级（第三套）真题
分类：外语学习
时间：2025-05-02
标签：无
格式：PDF
价格：5.8 玖币
-
2016年12月六级（第一套）真题
分类：外语学习
时间：2025-05-02
标签：无
格式：PDF
价格：5.8 玖币
渝公网安备50010702506394
