第三章-非线性判别函数及感知机

VIP免费

2025-01-13 8 0 3.2MB 56 页 5.9玖币

侵权投诉

6.1 什么是神经网络

•神经网络的发展概述

•神经网络的应用

神经网络发展概述

20世纪40年代 2006年2018年

传统神经网络深度神经网络大模型

➢传统神经网络时期：神经网络发展初期，以理论研究为主。代表性工作：

MP模型，感知机，反向传播算法；

➢深度神经网络时期：神经网络复杂度、模型精度大大提升。代表性工作：

AlexNet，ResNet，R-CNN系列；

➢大模型时期：神经网络的规模达到数十亿参数级别。代表性工作：

Transformer，BERT，GPT；

神经网络发展概述：传统时期

⚫萌芽期

➢McCulloch和PittsEfroni从信息处理的角度，研究神经细胞行为的数学模型表达，

提出二值神经元模型（MP模型），从此开始了对神经网络的研究进程。

➢心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实

现神经学习的方法。

【20世纪40年代】

⚫第一次高潮期

➢现代串行计算机的奠基人Von Neumann注意到计算机与人脑的差异，对类似与

神经网络的分布系统做了许多研究

➢50年代末期，Rosenblatt提出感知机模型，它基本符合神经生理学的原理。在60

代掀起了神经网络研究的第一次高潮。

【20世纪50-60年代】

神经网络发展概述：传统时期

⚫反思期

➢1969年，人工智能创始人之一的Minsky和Papert

以出版了《感知机》，深入分析了感知机的原理，

指出其在处理非线性问题上的局限性。神经网络

的研究进入了低潮。

➢Minsky的结论是悲观的，神经网络的研究进入了

低潮。这期间主要有自适应共振理论、自组织映

射、认知机网络模型理论、BSB模型等理论出现，

为神经网络的发展奠定了理论基础。

【1969-1980年】

Perceptrons: an introduction to

computational geometry, 1969 4

神经网络发展概述：传统时期

⚫第二次高潮期

➢1982年，Hopfield提出了人工神经网络的一种

数学模型，引入了能量函数的概念，设计出用

电子线路实现这一网络的方案；

➢1986年，Rumelhart及Hinton等学者提出了多

层感知机的反向传播算法，解决了多层前向神

经网络的学习问题；

【1981-1990年】

John J. Hopfield

(1933-) David Rumelhart

(1942-2011) Geoffrey Hinton

(1947-)

⚫再认识与应用研究期

➢受限于硬件条件，大型神经网络难以训练、小型神经网络结果不够精确，神经

网络的应用面受到限制。

➢在金融预测、手写字符识别等应用领域取得了一定进展。

【1991-2006年】

神经网络发展概述：深度时期

⚫深度神经网络时期

➢2006年，Hinton提出了更有效的训练神经元的新方法，通过“逐层初始化”

来克服多层神经网络在训练上的难度。

➢2012年，Alex Krizhevsky 在ImageNet图像分类竞赛中取得了里程碑式的突

破，Top5分类准确率由74%提升至85%。

➢2014年，何恺明等人提出R-CNN算法，是第一个成功将深度学习应用到目标

检测上的算法。

➢2015年，何恺明等人提出残差网络（ResNet），其内部的残差块使用了跳跃

连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。

【2016-2018年】

神经网络发展概述：大模型时期

⚫大模型时期

➢2017年，Ashish Vaswani等人提出Transformer架

构，使得训练更大规模的模型成为可能；

➢2018年，BERT等大型预训练语言模型的发布宣告

大模型时期的到来。这些模型展示了通过大规模

数据和计算资源训练而获得的强大能力。

➢2020年，OpenAI发布使用GPT-3架构的ChatGPT，

标志着AI对话系统能力的显著提升，推动了AI技

术在各种领域中的广泛应用。

【2018-至今】

神经网络的应用

⚫人脸识别与门禁系统

神经网络的应用

⚫自动驾驶

神经网络的应用

⚫AI对话与作图

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5.9 玖币 0人已下载

立即下载 VIP免费下载

摘要：

6.1什么是神经网络•神经网络的发展概述•神经网络的应用1神经网络发展概述20世纪40年代2006年2018年传统神经网络深度神经网络大模型➢传统神经网络时期：神经网络发展初期，以理论研究为主。代表性工作：MP模型，感知机，反向传播算法；➢深度神经网络时期：神经网络复杂度、模型精度大大提升。代表性工作：AlexNet，ResNet，R-CNN系列；➢大模型时期：神经网络的规模达到数十亿参数级别。代表性工作：Transformer，BERT，GPT；2神经网络发展概述：传统时期⚫萌芽期➢McCulloch和PittsEfroni从信息处理的角度，研究神经细胞行为的数学模型表达，提出二值神经元模型...

展开>> 收起<<

第三章-非线性判别函数及感知机.pdf

共56页,预览12页

还剩页未读，继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

第三章-非线性判别函数及感知机

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: