第四章神经网络的基本理论ppt课件.pptVIP

第四章 神经网络的基本理论 生物神经元 突触的信息处理 生物神经元传递信息的过程为多输入、单输出 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位 神经元具有如下功能： (1)?兴奋与抑制：如果传入神经元的冲动经整合后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整合后使细胞膜电位降低，低于动作电位的阈值时即为抑制状态，不产生神经冲动。 (2) 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。 以上是从宏观上分析了人脑信息处理特点。从信息系统研究的观点 出发，对于人脑这个智能信息处理系统，有如下一些固有特征： (1)并行分布处理的工作模式。 实际上大脑中单个神经元的信息处理速度是很慢的，每次约 1毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元 的处理功能也很有限，估计不会比计算机的一条指令更复杂。 但是人脑对某一复杂过程的处理和反应却很快，一般只需几 百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需 400 ms，而在这个处理过程中，与脑神经系统的一些主要功能， 如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果 采用串行工作模式，就必须在几百个串行步内完成，这实际上是 不可能办到的。因此只能把它看成是一个由众多神经元所组成的 超高密度的并行处理系统。例如在一张照片寻找一个熟人的面 孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现 有的技术，是不可能在短时间内完成的。由此可见，大脑信息处 理的并行速度已达到了极高的程度。 (2)神经系统的可塑性和自组织性。 神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如，人的幼年时期约在9岁左右，学习语言的能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下．接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。 (3)信息处理与信息存贮合二为一。 大脑中的信息处理与信息存贮是有机结合在一起的，而不像现行计算机那样．存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。 (4)信息处理的系统性 大脑是一个复杂的大规模信息处理系统，单个的元件“神经元”不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。 (5)能接受和处理模糊的、模拟的、随机的信息。 (6)求满意解而不是精确解。 人类处理日常行为时，往往都不是一定要按最优 或最精确的方式去求解，而是以能解决问题为原 则，即求得满意解就行了。 (7)系统的恰当退化和冗余备份(鲁棒性和容错性)。 决定神经网络模型性能三大要素为： (1)?神经元（信息处理单元）的特性； (2)?神经元之间相互连接的形式—拓扑结构； (3)?为适应环境而改善性能的学习规则。 4.1 人工神经网络模型 一、MP模型 MP模型属于一种阈值元件模型，它是由美国Mc Culloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。 4.1 人工神经网络模型 4.1 人工神经网络模型 wij ——代表神经元i与神经元j之间的连接强度(模拟生物神经元之间突触连接强度)，称之为连接权； ui——代表神经元i的活跃值，即神经元状态； xj——代表神经元j的输出，即是神经元i的一个输入； θi——代表神经元i的阈值。 函数f表达了神经元的输入输出特性。在MP模型中，f定义为阶跃函数/激发函数： 4.1 人工神经网络模型 如果把