机器学习-黄迪7 神经网络

VIP免费

2025-01-13 0 0 3.83MB 52 页 5.9玖币

侵权投诉

机器学习

Machine Learning

北京航空航天大学计算机学院智能识别与图像处理实验室

IRIP Lab, School of Computer Science and Engineering, Beihang University

黄迪刘庆杰

2018年秋季学期

Fall 2018

Adagrad

对稀疏参数进行大幅更新和对频繁参数进

行小幅更新

适合处理稀疏数据

RMSprop

Adagrad引起学习率衰减

减弱梯度累积学习率衰减

´¿=1

pg(¿)+²´0

Adadelta

使用前一次的梯度开方代替

动量SGD

SGD在遇到局部极值和鞍点时容易震荡

引入动量momentum，抑制梯度的震蒎

表示时刻的优化方向，且

时刻的优化方向为：

Nesterov梯度（NAG）

具有一定的预测性

w¿0= w ¿+¯rwE(¿¡1 )

Adam

最常用的方法

Adaptive + momentum

梯度消失问题

隐藏层神经元：

梯度为：表示l层的学习速度

梯度消失问题

在MNIST数据集上对[728 30 30 30 30 10]的网

络进行训练

初始化：

梯度消失问题

梯度消失的原因

考虑一个只有一个神经元的多层神经网络

可以推出：

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5.9 玖币 0人已下载

立即下载 VIP免费下载

摘要：

机器学习MachineLearning北京航空航天大学计算机学院智能识别与图像处理实验室IRIPLab,SchoolofComputerScienceandEngineering,BeihangUniversity黄迪刘庆杰2018年秋季学期Fall2018Adagrad对稀疏参数进行大幅更新和对频繁参数进行小幅更新适合处理稀疏数据RMSpropAdagrad引起学习率衰减减弱梯度累积学习率衰减´¿=1pg(¿)+²´0Adadelta使用前一次的梯度开方代替动量SGDSGD在遇到局部极值和鞍点时容易震荡引入动量momentum，抑制梯度的震蒎表示时刻的优化方向，且时刻的优化方向...

展开>> 收起<<

机器学习-黄迪7 神经网络.pdf

共52页,预览11页

还剩页未读，继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

机器学习-黄迪7 神经网络

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: