5.1人神经网络.ppt

第5章 智能计算;5.1 人工神经网络简介Artificial Neural Network;生物神经网络;神经元由细胞体及其发出的许多突起构成。;（1）细胞体：由细胞核、细胞质和细胞膜组成。 （2）树突：胞体上短而多分枝的突起。相当于神经元的输入端，接收传入的神经冲动。 （3）轴突：胞体上最长枝的突起，端部有很多神经末稍传出神经冲动。 ;（4）突触：神经元间的连接接口，每个神经元约有1万～10万个突触。 神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。 由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。 ;（5）细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋，此时，细胞膜内外有电位差，称膜电位。 电位膜内为正，膜外为负。 ;神经元功能——兴奋与抑制;生物神经元—信息处理单元;生物神经元—信息处理单元;生物神经元—信息处理单元;生物神经元—信息处理单元;生物神经元—信息处理单元;生物神经元—信息处理单元; 神经元及其联结； 神经元之间的联结强度决定信号传递的强弱； 神经元之间的联结强度可以改变； 信号分为兴奋型和抑制型； 一个神经元接受的信号的累计效果决定该神经元的状态； 每个神经元有一个阈值。;人工神经元模型; 上面已指出，一个生物神经元的基本功能是将输入量加权后相加，当加权和超过某一阈值后就产生一定输出。 这点是模拟神经元时所应抓住的基本特征。 ; ;模拟神经元的首要目标：输入信号的加权和。 人工神经元可以接受一组来自系统中其它神经元的输入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活状态。每个权就相当于突触的联结强度。;设X = (x1, x2, …, xn)表示n个输入，W = (w1, w2, …, wn)表示它们对应的联结权重。 故神经元所获得的输入信号累计效果为：;信息输入;信息传播与处理：积与和;信息传播;信息传播与处理：非线性;信息输出; 神经元获得网络输入信号后，信号累计效果整合函数u(x)大于某阈值? 时，神经元处于激发状态；反之，神经元处于抑制状态。 构造作用函数?，用于表示这???转换过程。要求?是[-1, 1]之间的单调递增函数。 作用函数?通常为3种类型，由此决定了神经元的输出特征。 ;符号函数;分段线性函数;Sigmoid函数;M-P模型;基本思想：逐步将训练集中的样本输入到网络中，根据输出结果和理想输出之间的差别来调整网络中的权重值。 学习的问题归结为求权重系数W = (w1, w2, …, wn)和阈值?的问题。 ;单层感知器不能表达的问题被称为线性不可分问题。 1969年，Minsky(明斯基)证明了“异或”问题是线性不可分问题： “异或”（XOR）运算的定义如下： ;异或问题从几何意义上讲，相当于一个正方形有四个顶点，不存在一条直线能将●和●分开的，所以，简单感知器无法实现异或问题。;相关研究表明，线性不可分函数的数量随着输入变量个数的增加而快速增加，甚至远远超过了线性可分函数的个数。 也就是说，单层感知器不能表达的问题的数量远远超过了它所能表达的问题的数量。 当Minsky给出单层感知器的这一致命缺陷时，人工神经网络的研究跌入漫长的黑暗期。 ;解决途径——多层网络;假设输入向量为二维的，可分为两类：一类输人向量全在凸集合R1内；另一类全在R1外。 可以证明，如果应用如图所示的二层感知器网络，则可完成对它们的正确分类。;2、三层感知器 ;现以下图所示的二维输入空间的非凸集合R为例。 ;图中所示的非凸集合R，若添加一条虚线lc，则R可分解为2个凸集合R1和R2。;栖撩耪副崎薪赤瓢帝宿中诲斯芒灿溶樟捣盏繁尊辟转绅隧宫谚捆解驶炒长5.1人工神经网络5.1人工神经网络;误差反向传播神经网络（Back-Propagation Networks）;BP算法;第一阶段：正向传播; 第二阶段：反向传播;网络结构;网络结构;网络结构;正向＋反向;正向;正向;正向;正向;正向;正向;正向;正向;反向;反向;BP网络的优点; (1)BP算法的学习速度很慢； (2)网络训练失败的可能性较大； (3)难以解决应用问题的实例规模和网络规模间的矛盾； (4)网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定；;致命问题;J(W);J(W);J(W)－－初始状态;梯度下降－－搜索;梯度下降－－搜索;梯度下降－－搜索;梯度下降－－搜索;梯度下降－－搜索;梯度下降－－搜索;梯度下降－－搜索;J(W)－－局部极小点;J(W)－－局部极小点;J(W)－－局部极小点;J(W)－－局部极小点;改进算法;J(W);J(W)－－初始状态;J(W)－－初始状态;改进算法;改进算法;改进算法;改