人工智能课件-计算智能.pptVIP

图4.5 异或逻辑的神经网络 4.3基于神经网络的知识表示与推理 0 x1 1.004 x2 2.102 y 0 -1.5 -2 -1 -3.121 1.07 1.135 1.1 输入x1 输入x2 输出y  0 0 0  1 0 1 1 1 0 0 1 1 ? 图4.6 异或逻辑的神经网络 0 x1 1 x2 1 y 0 -0.5 -0.5 -0.5 1 -1 -1 1 输入x1 输入x2 输出y  0 0 0  1 0 1 1 1 0 0 1 1 ? 4.3基于神经网络的知识表示与推理 4.4 一种广泛应用的神经网络B-P网络的网络学习传播公式 网络学习的传播公式是网络学习中用来调整网络连接权值和阈值的公式。实际上，网络学习过程就是一个对给定训练模式，利用传播公式，沿着减小误差的方向不断调整网络连接权值和阈值的过程。为了讨论传播公式的需要，下面先给出几个符号约定： Oi ： 节点 i 的输出； netj ： 节点 j 的输入； ωij ： 从节点 i 到节点j 的连接权值；θj ：节点 j 的阈值； yk ： 输出层上节点k的实际输出； tk ：输出层上节点k的期望输出。 显然，对隐含节点j有： netj＝Σ ωijOi Oj＝ f（netj- θj ） 在B-P算法学习过程中，可以采用如下公式计算各输出节点的误差： e=1/2*Σ(tk-yk)2 连接权值的修改由下式计算： ωjk(t+1)= ωjk (t)+ Δ ωjk ?其中， ωjk （t）和ωjk （t＋ 1）分别是时刻 t和 t+1时刻，从节点 j 到节点k的连接权值； Δ ωjk是连接权值的变化量。 前馈网络之B-P网络的学习算法可描述如下： （1）初始化网络及学习参数，即将隐含层和输出层各节点的连接权值、神经元阈值赋予[－1，1]区间的一个随机数； （2）提供训练模式，即从训练模式集合中选出一个训练模式，将其输入模式和期望输出送入网络； （3）正向传播过程，即对给定的输入模式，从第一隐含层开始，计算网络的输出模式，并把得到的输出模式与期望模式比较，若有误差，则执行第（4）步；否则，返回第（2）步，提供下一个训练模式； （4）反向传播过程，即从输出层反向计算到第一隐含层，按以下方式逐层修正各单元的连接权值： ① 计算同一层单元的误差δk； ② 按下式修正连接权值和阈值。 对连接权值，修正公式为： ωjk（t＋1）= ωjk (t)+ Δ ωjk （5）返回第（2）步，对训练模式集中的每一个训练模式重复第（2）到第（3）步，直到训练模式集中的每一个训练模式都满足期望输出为止。 η δk Oj B-P网络模型是目前使用较多的一种神经网络，它有自己的优点，也存在一些缺点。 B-P网络的主要优点有： （1）算法推导清楚，学习精度较高； （2）从理论上说，可以使多层前馈网学会任何可学习的东西； （3）经过训练后的B-P网络，运行速度极快，可用于实时处理。 B-P网络的主要缺点有： （1）由于它的数学基础是非线性优化问题，因此，可能陷入局部最小区域； （2）学习算法收敛速度很慢，通常需要数千步或更长，甚至还可能不收敛； （3）网络中隐含节点的设置无理论指导。 对于上述缺点，为了解决陷入局部最小区域问题，通常需要采用模拟退火算法或遗传算法等 第5章计算智能之遗传算法 遗传算法（Genetic Algorithm--GA）是一种新兴的搜索寻优技术。它仿效生物的进化与遗传，根据“生存竞争”和“优胜劣汰”的原则，借助复制、交换、突变等操作，使所要解决的问题从初始解一步步地逼近最优解