计算智能神经网络.ppt

第一页，共二十六页，2022年，8月28日 　 神经网络 马文·明斯基（Marvin Lee Minsky， 1927年8月9日－）生于纽约市，1944年-1945年服役于美国海军。 1954年于普林斯顿大学获得数学博士学位。在数学系做研究生时，明斯基与同学构建了第一台基于模拟突出增强原理的随机连线网络学习机器(SNARC)，被称为第一台神经网络计算机。 2. 自己是第一台神经网络计算机的制造者，却险些葬送了神经网络的前途。 1. 由于搞的太偏门，险些无法毕业。 趣事： 第二页，共二十六页，2022年，8月28日 　 神经网络 原文如下： 尽管它有严重的局限性，感知器展示了它自身的研究价值。它有很多吸引人的优点：它的线性，迷人的学习法则，作为一类并行计算范例的清晰的简单性。没有任何理由认为这些优点能带到多层感知器中去。依据我们的直觉判断，即使推广到多层系统也不会有好的结果。但是，我们认为证明（或否定）这一点是一个很重要的需要研究的问题。 1969年，他和佩波特的名著《感知机》证明了Rosenblatt感知机解决非线性问题能力薄弱，连XOR逻辑分类都做不到，只能作线性划分。更重要的是，他将关于单层感知器局限性的结论推广到了多层感知器。 第三页，共二十六页，2022年，8月28日 　 神经网络 神经网络研究进入低谷期，一直持续了将近20年。 神经网络的反击： 1988年，赛本柯(Cybenko)等证明：具有两个隐层的BP网络可以实现任何有界连续函数。 1989年又证明：单隐层BP网络可以实现任何有界连续函数。 明斯基对多层感知器的“判决”被彻底推翻 我想说两点： 1. 不要随便预言科学的未来。好像就从来没准过。 2. 不要太迷信大师。 第四页，共二十六页，2022年，8月28日 多层前馈神经网络 结构 输入层 隐含层 输出层 W1 W2 x2 x1 xn y2 y1 ym … … … … … 说明 1. 信号只能向前传播--前馈 2. 含有一个输入层和输出层，含有多个隐含层 3. 每层之间的连接都有权值 4. 每层节点数目可以不同 第五页，共二十六页，2022年，8月28日 多层前馈神经网络 具有单个隐含层的网络已经具备非线性分类能力，因此，常见的神经网络为3层：输入层、隐含层、输出层 输入矢量: x1,x2, …, xi x2 x1 xi … … wij wjk i j k … θj θk 输入层节点数目为i 输入层第i个节点输出为 隐含层节点数目为j 隐层第j个节点输出为 输出层节点数目为k 输出层第k个节点输出为 隐含层阈值为θj，输出层为θk 输入层到隐层权值为wij，隐层到输出层权值为wjk 第六页，共二十六页，2022年，8月28日 多层前馈神经网络 工作过程： x2 x1 xi … … wij wjk i j k … θj θk f为激励函数（转移函数） 第七页，共二十六页，2022年，8月28日 激励函数 神经网络常用的激励函数： (1) Sigmoid函数： 1 0.5 x y 0 (0 f(x) 1) Sigmoid函数为一单调递增连续函数，且处处可导，其导数为： 第八页，共二十六页，2022年，8月28日 激励函数 (2) 双曲正切函数： ( -1 f(x) 1 ) 1 -1 x y 0 导数为： Sigmoid函数通过下式能够映射到(-1,1)范围： 第九页，共二十六页，2022年，8月28日 误差函数 用期望输出与实际输出的方差作为相应的误差测度 tk为第k个样本的期望输出，yk为第k个样本通过神经网络计算的实际输出。N为参与训练的样本总数 如果输出向量的维数为m，则： tk,i为第k个样本第i维的期望输出，yk,i为第k个样本通过神经网络计算出的第i维实际输出。 第十页，共二十六页，2022年，8月28日 神经网络的训练 通过感知器的学习我们知道，如果需要感知器对问题进行分类，必须首先需要训练感知器。 同样，我们也可以想到：作为感知器的扩展，神经网络也需要训练才能对问题进行分类。 感知器的训练算法： Delta学习 神经网络训练算法： 误差逆向传播算法（BP算法） 感知器调整的参数： 权值w和阈值θ 神经网络调整的参数： 所有神经元的权值w和阈值θ 第十一页，共二十六页，2022年，8月28日 BP算法 BP算法主要分为两个阶段： 1. 向前计算阶段 2. 向后计算阶段（逆向误差修正计算阶段） 输入信号通过输入层经隐层逐层处理并计算出每个节点的实际输出值。 逐层计算实际输出和期望输出之间的误差，并以此误差来修正权值。 由于BP算法是多层前馈神经网络最常用的训练算法，因此，多层前馈神经网络