第B自适应线性单元.ppt

人工神经网络及应用 主讲 何东健 3.3 自适应线性单元 感知机模型网络是以二值数字量作为输入模式的离散时间型神经网络。作为神经网络的初期模型，与感知机模型相对应，自适应线性(Adaline—MadaLine)神经网络是以连续线性模拟量为输 入模式，拓扑结构与感知机网络十分相似的一种连续型线性神经网络。可用于线性逼近一个函数式进行联想。信号处理滤波、预测、模型识别和控制。 自适应线性元件（Adaptive Linear Element，简称Adaline）由威德罗和霍夫提出。 与感知器的不同： （1）激活函数为线性函数，输出可以是任意值，而感知器只能取0和1； （2）算法不同：采用W-H学习规则（最小均方差，LMS ）对网络进行训练，收敛速度比感知器快，精度更高。( ) 和感知器一样用于分类（符号函数）；模拟输出，做为调节误差的手段，由于模拟输出时变换函数为线性，故称为线性单元ADLINE。 功能：将期望输出与实际输出的误差，做为调整信号不断在线调整权向量，以保证在任何时刻，期望与实际输出相等。 3.3.1 Adaline模型和结构 具有n个输入的自适应线性神经元模型如图4.1(a) 。神经元有一个线性激活函数，被称为Adaline。偏差作为可调参数，提供额外可调的自由变量，以获得期望的网络特性。 线性神经元可训练学习一个与之对应的输入输出函数关系，或线性逼近任意一个非线性函数，但不能产生任何非线性的计算特性。 W—H规则仅能够训练单层网络，但单层线性网络与多层线性网络具有同样的能力，即对于每一个多层线性网络，都具有一个等效的单层线性网络与之对应。 在反向传播法产生以后，威德罗又将其自适应线性网络扩展成多层，甚至将激活函数也扩展成非线性的。 3.1.2 W-H学习规则 由威德罗和霍夫提出,用来修正权矢量的学习规则。 采用W-H学习规则(LMS)可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association)。 定义线性网络的输出误差函数为： 可以看出：线形网络具有抛物线型误差函数所形成的误差表面，所以只有一个误差最小值。通过W-H学习规则来计算权值和偏差的变化，并使网络误差的平方和最小化，总能够训练一个网络的误差趋于这个最小值。 E(W,B)只取决于网络的权值W及目标矢量D。我们的目的是通过调节权矢量，使E(W,B)达到最小值。所以在给定E(W,B)后，利用W-H学习规则修正权矢量和偏差矢量，使E(W,B)从误差空间的某一点开始，沿着E(W,B)的曲面向下滑行。根据梯度下降法，权矢量的修正值正比于当前位置上E(W,B)的梯度，对于第i个输出节点有： （4－3） 采用W-H规则训练自适应线性元件使其能够得以收敛的必要条件:被训练的输入矢量必须是线性独立的，且应适当地选择学习速率以防止产生振荡现象。 3.1.3 网络训练 网络训练过程可以归纳为以下三个步骤： (1)表达：计算输出矢量O＝W*X+B，以及与期望输出之间的误差E＝D-O； (2)检查：将网络输出误差的平方和与期望误差相比较，如果其值小于期望误差，或训练已达到事先设定的最大训练次数，则停止训练；否则继续； (3)学习：采用W-H学习规则计算新的权值和偏差，并返回到(1)。 每进行一次上述三个步骤，被认为是完成一个训练循环次数。 如果网络训练获得成功，那么当一个不在训练中的输入矢量输入到网络中时，网络趋于产生一个与其相联想的输出矢量。这个特性被称为泛化。 如果经过训练，网络仍不能达到期望目标，可以有两种选择（1）检查所要解决的问题，是否适用于线性网络；（2）对网络进行进一步的训练。 W-H学习规则虽然只适用于线性网络， 但它仍然非常重要，因为它展现了梯度下降法是如何来训练一个网络的，此概念后来发展成反向传播法，使之可以训练多层非线性网络。 设计一个线性网络（Matlab） 格式： net = newlin(PR,S,ID,LR) PR－ R x 2矩阵，表示R维输入矢量中每维输入的最小值和最大值之间的范围 S －输出神经元个数 ID －输入延时矢量,缺省 = [0] LR－ 学习率缺省 = 0.01 net－为生成的网络。 newlin已调用默认的初始化函数initzero，对权值和阈值进行了0初始化。 如：net = newlin([-2 2],1,[0],maxlr); 3.2 实例与分析 例3-1 理解误差曲面（ exa31.m ）