研机器学习4-支持向量机-黄迪

VIP免费
2025-01-13 1 0 3.74MB 110 页 5.9玖币
侵权投诉
机器学习
Machine Learning
北京航空航天大学计算机学院智能识别与图像处理实验室
IRIP Lab, School of Computer Science and Engineering, Beihang University
黄 迪 刘庆杰 陈佳鑫
2024年秋季学期
Fall 2024
部分内容来源于C. Bishop和A. NG等人的课程以及互联网资源
课前回顾
⚫研究父母身高与子女身高之间关系
“回归”起源
若父母身高高于平均身高，则其子
女身高倾向于倒退生长，即会比其
父母身高矮一些而更接近于大众平
均身高。
若父母身高小于平均身高，则其子
女身高倾向于向上生长，即会更接
近于大众平均身高。
【英国生物学家Francis Galton】
此现象被Galton称之为回归现象，即Regression
1822-1911
回归的概念
*Christopher M. Bishop, Pattern Recognition and Machine Learning
⚫回归
➢回归属于监督学习，其目标是将输入向量分配至由一个或多
个连续变量组成的输出*
➢数学表示：给定输入数据和一个连续型输出，目标是找到
一个函数，使与的差距尽可能小
线性回归的概念
⚫问题建模
训练集
回归算法
变量(特征)计算
➢假设函数 为输入的线性函数
➢写成向量形式
增加一维
表示截距项，
转为齐次形式
⚫线性回归
如何表示 ?
 


 
线性回归的概念
基函数
最简单的情况下：
⚫多项式基函数 ⚫高斯基函数 ⚫Sigmoid基函数
 

 
 
   
  
 

问题分析
⚫问题本质：确定模型中的参数w
⚫基本思想：基于训练集最小化预测值 与真
实输出值的差异
⚫定义目标函数 (又叫代价函数)
➢例如：平均绝对误差、均方误差和均方根误差
⚫以基于均方误差的目标函数为例
⚫求解方法：标准方程组法、梯度下降法
w
ww
w

⚫目标函数
⚫写成矩阵形式
⚫其中
w



w
w

wXw yXw y
X

  

 
    y
标准方程组法
(Normal Equations)
⚫对目标函数直接求导，并令其导数等于0，求得极值
⚫求导
⚫得到模型的参数
ww
wXw yXw y
XXw y
XXw Xy
wXXXy
标准方程组法
(Normal Equations)
⚫梯度下降是一个最优化算法，是求解无约束优化问题
最基础的方法之一
⚫基本思想
➢更新参数让目标函数沿负梯度方向下降
⚫一般流程
➢首先对参数w赋值
➢更新w的值，使得w按梯度下降的方向减少直到收敛
➢越接近目标值，搜索步长越小，前进越慢
等值线
梯度下降法(Gradient Descent)
摘要：

机器学习MachineLearning北京航空航天大学计算机学院智能识别与图像处理实验室IRIPLab,SchoolofComputerScienceandEngineering,BeihangUniversity黄迪刘庆杰陈佳豠2024年秋季学期Fall2024部分内容来源于C.Bishop和A.NG等人的课程以及互联网资源课前回顾⚫研究父母身高与子女身高之间关系“回归”起源若父母身高高于平均身高，则其子女身高倾向于倒退生长，即会比其父母身高矮一些而更接近于大众平均身高。若父母身高小于平均身高，则其子女身高倾向于向上生长，即会更接近于大众平均身高。【英国生物学家FrancisGalton】此...

展开>> 收起<<
研机器学习4-支持向量机-黄迪.pdf

共110页,预览22页

还剩页未读， 继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

相关推荐

更多
立即下载
分类：计算机 价格：5.9玖币 属性：110 页 大小：3.74MB 格式：PDF 时间：2025-01-13

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

热门标签

高考理综 人际关系 配电装置 动力学连接体 力的合成 全宋诗作者索引 公务员考试
/ 110
评分 收藏
分享
立即下载 VIP免费下载
客服
关注