大数据分析方法与应用 课件 第9章 神经网络.pptx

大数据分析方法与应用上海理工大学主讲人：耿秀丽教授第九章神经网络

目录CONTENTS第九章神经网络9.1发展历程9.2基础模型9.3典型神经网络9.4人工智能的中立性9.5信息不公9.6应用案例9.7数字技术伦理规范

9.1发展历程人工神经网络从1943诞生以来，经历过若干次的热潮与低谷：

9.1发展历程第一次热潮：诞生（1943～1969年）提出了许多神经元模型和学习规则第一次低谷：冰河期（1969年～1983年）感知器只能解决简单的线性问题，针对求解非线性问题无法得到有效解释第二次热潮：反向传播算法（1983年～1995年）引入反向传播算法，使得求解非线性问题变得可解释第二次低谷：冷门（1995～2006年）支持向量机等方法在机器学习领域的流行度逐渐超过了神经网络第三次热潮：深度学习（2006年-至今）深度网络模型能有效作用于实际需求，如人脸支付、自动门禁、自动驾驶等各类应用

9.2基础模型神经元-基本结构人工神经元（ArtificialNeuron），简称神经元（Neuron），是构成神经网络的基本单元。一个生物神经元通常具有多个树突和一条轴突。树突用来接收信息，轴突用来发送信息。当神经元积累的输入信号超过某个阈值时，它就处于兴奋状态，产生电脉冲。轴突尾端有许多末梢可以给其他神经元的树突产生连接（突触），并将电脉冲信号传递给其他神经元。

9.2基础模型神经元-基本结构?

9.2：基础模型神经元-激活函数为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：1）激活函数应是连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。2）激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。3）激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。常用激活函数：Sigmoid、tanh、ReLU等

9.2前馈网络：整个网络中的信息是朝一个方向传播，没有反向的信息传播，可以用一个有向无环路来表示。前馈网络包括全连接前馈网络和卷积神经网络等。记忆网络：也称为反馈网络，网络中的神经元不但可以接收其他神经元的信息，也可以接收自己的历史信息，具有记忆功能。记忆神经网络中的信息传播可以是单向或双向传递，因此可用一个有向循环图或无向图来表示。记忆网络包括循环神经网络、Hopfield网络等图网络：是一种定义在图结构数据上的神经网络。图中每个节点都由一个或一组神经元构成。节点之间的连接可以是有向的，也可以是无向的。前馈神经网络记忆神经网络图神经网络基础模型网络结构

9.3典型神经网络反向传播神经网络是1986年由Rumelhart和McClelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络。反向传播网络能学习和存贮大量的输入-输出模式映射关系，而无须事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。反向传播神经网络模型拓扑结构包括输入层、隐含层和输出层。反向传播神经网络（BPNN）前向传播计算损失反向传播参数更新迭代优化

9.3典型神经网络反向传播神经网络（BPNN）-反向算法原理第l层的误差项可以通过第l+1层的误差项计算得到，这就是误差的反向传播。反向传播算法的含义是：第l层的一个神经元的误差项（或敏感性）是所有与该神经元相连的第l+1层的神经元的误差项的权重和。然后，再乘上该神经元激活函数的梯度。

9.3典型神经网络反向传播神经网络（BPNN）-反向算法原理基于误差反向传播算法的前馈神经网络训练过程可以分为以下三步：1）前馈计算每一层的净输入z(l)和激活值a(l)，直到最后一层；2）反向传播计算每一层的误差项δ(l)；3）计算每一层参数的偏导数，并更新参数。

9.3典型神经网络这里*表示卷积操作，g(x-τ)表示函数g(x)向右平移τ个单位，然后与函数f(τ)进行乘积。积分的上下限是负无穷到正无穷，表示对所有可能的值进行积分。换句话说，卷积操作的结果是将函数f(x)和函数g(x)在一定范围内进行“重叠”，并将它们的乘积在该范围内积分，得到一个新的函数h(x)。h(x)描述f(x)和g(x)的某种关系，通常是它们之间的相似程度或相关程度。卷积神经网络（CNN）卷积神经网络一般由卷积层、汇聚层和全连接层构成。卷积的原理可以用以下的方式描述：假设有两个函数f(x)和g(x)，它们在定义域内的乘积积分表示为：

9.3典型神经网络在图像处理和神经网络中，卷积操作通常是指将一个卷积核（也称为过滤器）与输入数据的局部区域进行卷积，得到一个输出值。卷积核通常是一个小的矩阵或张量，可以