第三章-非线性判别函数及感知机

VIP免费
2025-01-13 0 0 3.2MB 56 页 5.9玖币
侵权投诉
6.1 什么是神经网络
•神经网络的发展概述
•神经网络的应用
1
神经网络发展概述
20世纪40年代 2006年2018年
传统神经网络 深度神经网络 大模型
➢传统神经网络时期：神经网络发展初期，以理论研究为主。代表性工作：
MP模型，感知机，反向传播算法；
➢深度神经网络时期：神经网络复杂度、模型精度大大提升。代表性工作：
AlexNet，ResNet，R-CNN系列；
➢大模型时期：神经网络的规模达到数十亿参数级别。代表性工作：
Transformer，BERT，GPT；
2
神经网络发展概述：传统时期
⚫萌芽期
➢McCulloch和PittsEfroni从信息处理的角度，研究神经细胞行为的数学模型表达，
提出二值神经元模型（MP模型），从此开始了对神经网络的研究进程。
➢心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实
现神经学习的方法。
【20世纪40年代】
⚫第一次高潮期
➢现代串行计算机的奠基人Von Neumann注意到计算机与人脑的差异，对类似与
神经网络的分布系统做了许多研究
➢50年代末期，Rosenblatt提出感知机模型，它基本符合神经生理学的原理。在60
代掀起了神经网络研究的第一次高潮。
【20世纪50-60年代】
3
神经网络发展概述：传统时期
⚫反思期
➢1969年，人工智能创始人之一的Minsky和Papert
以出版了《感知机》，深入分析了感知机的原理，
指出其在处理非线性问题上的局限性。神经网络
的研究进入了低潮。
➢Minsky的结论是悲观的，神经网络的研究进入了
低潮。这期间主要有自适应共振理论、自组织映
射、认知机网络模型理论、BSB模型等理论出现，
为神经网络的发展奠定了理论基础。
【1969-1980年】
Perceptrons: an introduction to
computational geometry, 1969 4
神经网络发展概述：传统时期
⚫第二次高潮期
➢1982年，Hopfield提出了人工神经网络的一种
数学模型，引入了能量函数的概念，设计出用
电子线路实现这一网络的方案；
➢1986年，Rumelhart及Hinton等学者提出了多
层感知机的反向传播算法，解决了多层前向神
经网络的学习问题；
【1981-1990年】
John J. Hopfield
(1933-) David Rumelhart
(1942-2011) Geoffrey Hinton
(1947-)
⚫再认识与应用研究期
➢受限于硬件条件，大型神经网络难以训练、小型神经网络结果不够精确，神经
网络的应用面受到限制。
➢在金融预测、手写字符识别等应用领域取得了一定进展。
【1991-2006年】
5
神经网络发展概述：深度时期
⚫深度神经网络时期
➢2006年，Hinton提出了更有效的训练神经元的新方法，通过“逐层初始化”
来克服多层神经网络在训练上的难度。
➢2012年，Alex Krizhevsky 在ImageNet图像分类竞赛中取得了里程碑式的突
破，Top5分类准确率由74%提升至85%。
➢2014年，何恺明等人提出R-CNN算法，是第一个成功将深度学习应用到目标
检测上的算法。
➢2015年，何恺明等人提出残差网络（ResNet），其内部的残差块使用了跳跃
连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
【2016-2018年】
6
神经网络发展概述：大模型时期
⚫大模型时期
➢2017年，Ashish Vaswani等人提出Transformer架
构，使得训练更大规模的模型成为可能；
➢2018年，BERT等大型预训练语言模型的发布宣告
大模型时期的到来。这些模型展示了通过大规模
数据和计算资源训练而获得的强大能力。
➢2020年，OpenAI发布使用GPT-3架构的ChatGPT，
标志着AI对话系统能力的显著提升，推动了AI技
术在各种领域中的广泛应用。
【2018-至今】
7
神经网络的应用
⚫人脸识别与门禁系统
8
神经网络的应用
⚫自动驾驶
9
神经网络的应用
⚫AI对话与作图
10
摘要：

6.1什么是神经网络•神经网络的发展概述•神经网络的应用1神经网络发展概述20世纪40年代2006年2018年传统神经网络深度神经网络大模型➢传统神经网络时期：神经网络发展初期，以理论研究为主。代表性工作：MP模型，感知机，反向传播算法；➢深度神经网络时期：神经网络复杂度、模型精度大大提升。代表性工作：AlexNet，ResNet，R-CNN系列；➢大模型时期：神经网络的规模达到数十亿参数级别。代表性工作：Transformer，BERT，GPT；2神经网络发展概述：传统时期⚫萌芽期➢McCulloch和PittsEfroni从信息处理的角度，研究神经细胞行为的数学模型表达，提出二值神经元模型...

展开>> 收起<<
第三章-非线性判别函数及感知机.pdf

共56页,预览12页

还剩页未读， 继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

相关推荐

更多
立即下载
分类：计算机 价格：5.9玖币 属性：56 页 大小：3.2MB 格式：PDF 时间：2025-01-13

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

热门标签

高考理综 人际关系 配电装置 动力学连接体 力的合成 全宋诗作者索引 公务员考试
/ 56
评分 收藏
分享
立即下载 VIP免费下载
客服
关注