研机器学习6-决策树-黄迪

VIP免费
2025-01-13 3 0 2.54MB 106 页 5.9玖币
侵权投诉
机器学习
Machine Learning
北京航空航天大学计算机学院
School of Computer Science and Engineering, Beihang University
黄 迪 刘庆杰 陈佳鑫
2024年秋季学期
Fall 2024
部分内容来源于C. Bishop和A. NG等人的课程以及互联网资源
课前回顾
过拟合
⚫模型复杂度高并过度拟合了训练集，在测试集上的
表现差（泛化性差）
⚫模型具有高方差、低偏差的特点
训练集误差
测试集误差
VC维
误差
模型复杂度
欠拟合 vs.过拟合
什么是正则化 (Regularization)
⚫正则化是指为缓解过拟合而加入额外先验约束的过程
⚫训练机器学习模型时通过引入正则化来增强模型的泛
化性能
正则化
过拟合 较好的拟合
训练数据 测试数据
⚫机器学习的训练过程可简化为在训练集上损失函数
  的最小化问题，为了对抗过拟合，向损失函数中
加入描述模型复杂程度的正则化项  ，其一般形
式为：
⚫正则化项是在模型训练中引入的模型参数先验约束，
通过引入表示模型复杂度的正则化项，降低模型的复
杂度，提高泛化性能
 
  
训练集损失 正则化系数 正则化项
 
 
什么是正则化 (Regularization)
正则化的形式
⚫-范数正则化
➢机器学习中广泛使用的正则化形式
➢计算高效，目标函数可用梯度下降等方式求解最优化问题
➢-范数表示向量空间中的距离，具备非负性、齐次性、三
角不等式的特性
   

     
非负性：    
齐次性：      >0
三角不等式（次可加性）:      
正则化的形式
⚫-范数正则化项引入-范数作为正则化项  ，约
束了模型参数的范数上界，防止模型过度拟合到训
练数据；通过引入-范数正则化来约束模型的复杂
度，提高了模型的泛化能力
⚫常见方法：正则化
➢正则化（  ）：   
，即欧氏距离
➢正则化（  ）：   
，即曼哈顿距离
L
2正则化
⚫L2正则化的定义
➢正则化的一般形式
➢ 
，  ，为正则化系数， 用于控制正则项对总损
失的贡献程度；越大，模型权重越趋近 0
➢L2正则化的定义
  

  =   ,  
训练集损失 正则化系数 正则化项
即在损失函数中添加一
个参数的L2范数惩罚项
L
2正则化
➢目标函数
 

➢求对的偏导数
    
➢梯度下降更新
    
    
  
⚫问题求解
学习率
权重衰减
⚫L2正则化又被称为权重衰减 (Weight Decay)
      
原始参数更新
包含权重衰减（
L
2正则化）的参数更新
➢对于参数更新的变化
加入权重衰减（L2正则化）后会引起学习规则的修
改，即在每步执行通常的梯度更新之前先收缩权重
向量（将权重向量乘以一个常数因子）
摘要：

机器学习MachineLearning北京航空航天大学计算机学院SchoolofComputerScienceandEngineering,BeihangUniversity黄迪刘庆杰陈佳鑫2024年秋季学期Fall2024部分内容来源于C.Bishop和A.NG等人的课程以及互联网资源课前回顾过拟合⚫模型复杂度高并过度拟合了训练集，在测试集上的表现差（泛化性差）⚫模型具有高方差、低偏差的特点训练集误差测试集误差VC维误差模型复杂度欠拟合vs.过拟合什么是正则化(Regularization)⚫正则化是指为缓解过拟合而加入额外先验约束的过程⚫训练机器学习模型时通过引入正则化来增强模型的泛化性能...

展开>> 收起<<
研机器学习6-决策树-黄迪.pdf

共106页,预览22页

还剩页未读， 继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

相关推荐

更多
立即下载
分类：计算机 价格：5.9玖币 属性：106 页 大小：2.54MB 格式：PDF 时间：2025-01-13

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

热门标签

高考理综 人际关系 力的合成 配电装置 动力学连接体 全宋诗作者索引 公务员考试
/ 106
评分 收藏
分享
立即下载 VIP免费下载
客服
关注