模式识别第八章人工神经网络.pptVIP

*本文档共81页；当前第30页；编辑于星期日\16点54分*本文档共81页；当前第31页；编辑于星期日\16点54分*本文档共81页；当前第32页；编辑于星期日\16点54分*本文档共81页；当前第33页；编辑于星期日\16点54分*本文档共81页；当前第34页；编辑于星期日\16点54分*本文档共81页；当前第35页；编辑于星期日\16点54分*本文档共81页；当前第36页；编辑于星期日\16点54分*本文档共81页；当前第37页；编辑于星期日\16点54分*本文档共81页；当前第38页；编辑于星期日\16点54分*本文档共81页；当前第39页；编辑于星期日\16点54分*本文档共81页；当前第40页；编辑于星期日\16点54分1）单层感知器（Pereceptron）感知器是一种双层神经元网络模型，一层为输入层，另一层具有计算单元，可通过监督学习建立模式判别的能力。两层感知器只能解决线性问题。学习的目的：通过改变权值使神经元网络由给定的输入得到给定的输出。单层感知器的输出：从初始权wi(0)和阈值?开始训练。8.4前馈神经元网络*本文档共81页；当前第41页；编辑于星期日\16点54分训练过程：?设理想的输出为?实际输出:用已知类别模式向量或特征向量作为训练集：?当输入为属于第j类特征向量x时，应使对应于该类的输出yj=1,而其它神经元的输出为0（或-1）。为使实际输出逼近理想输出，可反复依次输入训练集中的模式样本，并计算出实际输出,并对权值作如下修改：??……???……?y1y2…...ymx1x2…….xn输入层输出层*本文档共81页；当前第42页；编辑于星期日\16点54分2）多层感知器y1y2…...ymx1x2…….xn输出层隐含层输入层??……???……???……?特点：多层感知器可解决非线性可分问题。设4层感知器：第1隐含层含n1个神经元，各神经元输出为(j=1,2,…,n1)第2隐含层含n2个神经元，各神经元输出为(k=1,2,…,n2)8.4前馈神经元网络*本文档共81页；当前第43页；编辑于星期日\16点54分输出层神经元的输出为第2隐含层第k个神经元的输出为第1隐含层第j个神经元的输出为8.4前馈神经元网络*本文档共81页；当前第44页；编辑于星期日\16点54分BP算法两个过程：正向计算和误差反向传播。正向过程：输入层经隐层单元逐层处理并传向输出层，每一层神经元的状态只影响下一层神经元状态，而不影响同一层。如果在输出层得不到期望的输出，则转入反向传播过程。反向过程：将误差信号沿原来的连接通路返回，通过修正各层神经元的连接权值，使得误差信号最小。多层前馈神经网络缺点：学习较复杂，因中间隐层不直接与外界连接，无法直接计算其误差。由此提出了反向传播（BP）。反向传播算法（BP）*本文档共81页；当前第45页；编辑于星期日\16点54分图示为处于某一层的第j个计算单元，脚标i代表其前层第i个单元，脚标k代表后层第k个单元，Oj代表本层输出，是前层到本层的权值ik反向传播算法（BP）*本文档共81页；当前第46页；编辑于星期日\16点54分为使式子简化，定义局部梯度（正向算法）当输入每个样本时，从前到后对每层各单元作如下计算设网络为单输出y，任一结点i的输出为Oi。(1)(2)(3)(4)ik则结点j的输入为：则结点j的输出为：*本文档共81页；当前第47页；编辑于星期日\16点54分权值修正应使误差最快地减小，修正量为如果节点j是输出单元，则(5)(7)(6)*本文档共81页；当前第48页；编辑于星期日\16点54分如果节点j不是输出单元，由前图可知，Oj对后面层的全部节点都有影响。因此，对于Sigmoid函数有(8)(9-1)*本文档共81页；当前第49页；编辑于星期日\16点54分或者当有为了加快收敛速度，往往在权值修正量中加上前一次的权值修正量，一般称为惯性项（步长?、贯量系数?），即综上所述，反向传播算法步骤如下：（1）选定权系数初始值。（2）重复下述过程至此收敛（对各样本依次计算）。①从前向后各层计算各单元O