第四部分自适应线神经元.pptVIP

2006-11-28 北京科技大学 付冬梅 * * 第四章 自适应线性神经元 第四章 自适应线性神经元 自适应线性神经元模型 单个自适应线性神经元的学习方法 单层自适应线性神经元的学习方法 MATLAB程序仿真 关于自适应线性神经元的几点说明 4.1自适应线性神经元模型 线性神经元模型如图所示： I/O关系 a=purelin(W*P+b) 基于最小二乘的一次性学习算法 4.2单个自适应线性神经元的学习方法 注意到O=KO’+b，所以有O’=(O-b)/K， 同理有： y’=(y-b)/K，所以{X，Y’}仍是样本对。 基于梯度的学习算法(内部反馈) 后），对于输入 ， 个 次学习以后（即得到第 设经过 后，或者没有初始权值 感知机的输出为： 其中 则感知机的输出误差为： 又设在同样输入 作用下，样本输出 4.2单个自适应线性神经元的学习方法 根据上面的推导，我们可以给出感知器（单个且 ） 根据建立在梯度法基础上的最小均方差（LMS）算法得知， 被调整的参数（这里是 ）的修改应该向着梯度的反方向进行， 此处梯度为： 因此我们有： 权值调整的具体学习步骤： 即： （1）随机初始化权值和阈值： 4.2单个自适应线性神经元的学习方法 为迭代次数，按： 作为输入向量， ,则表明分类正确，而不需要调整权值和阈值，如此 类中了，需按下面步骤调整权值。 错分到 作为本次的训练，并以此为输入计算 中的 比如选中 （2）在A样本集合{A，B}中，任选一个 感知机的输出： ，表明将 （3）若 可回到（2）步，并重新选一个新的训练样本。如果 其中： 是理想输出，即样本输出）调整权值，此处 为学习率。 为期望输出，直到计算 为止。 （4）设 4.2单个自适应线性神经元的学习方法 （5）重新在A，B样本集中选择另一个样本进行学习，即 重复（2）~（5），直到 对所有 均成立，对所有样本均正确 分类，则学习结束 。 ①上面的算法适合 这样连续激励函数，但是 来作为迭代的标准，往往以误差 ，则不要调整权值，否则进行（4）步。 说明： 此时不能用 大小作为限制，即在算法的第（3）步中， ②理想输出不一定非得是+1或-1，可以使其他的实数。 4.2单个自适应线性神经元的学习方法 基于梯度的学习算法(外部反馈) 后），对于输入 ， 个 次学习以后（即得到第 设经过 后，或者没有初始权值 感知机的输出为： 其中 则感知机的输出误差为： 又设在同样输入 作用下，样本输出 4.2单个自适应线性神经元的学习方法 根据建立在梯度法基础上的最小均方差（LMS）算法得知， 被调整的参数（这里是 ）的修改应该向着梯度的反方向进行， 此处梯度为： 因此我们有： 即： 4.2单个自适应线性神经元的学习方法 基于梯度的学习算法(外部反馈) 4.3单层自适应线性神经元的学习方法 基于最小二乘的一次性学习算法 基于梯度的学习算法 设样本集为（X，Y），取 、 样本。设已训练了n0次得到 的权值为： 则由网络计算得到的输出为： 4.3单层自适应线性神经元的学习方法 用分量表示之为： 则此时网络的误差为： 根据梯度下降法我们可以知道： 4.3单层自适应线性神经元的学习方法 故有： 4.3单层自适应线性神经元的学习方法 由此可得递推算法如下： （1）随机初始化权值和阈值，即令： 系数取不等于零的正小数 ，以使初始化权值比较小。 （2）在样本集合（X，Y）中，任选一个 和 作为训练 样本，计算感知器的实际输出： 4.3单层自适应线性神经元的学习方法 3）若 （规定的最小误差），则不需调 整权值，回到（2）步，取另一样本进行训练，否则进行 如下的（4）步。 4）调整权值：然后返回2）。 4.3单层自适应线性神经元的学习方法 4.4 MATLAB程序仿真 例1、设计自能够适应线性神经网络实现从输入矢量到输出矢量的变换关系，其输入矢量和输出矢量分别为： P=[1.0 -1.2] T=[0.5 1.0] 程序1 P=[1.0 -1.2]; T=[0.5 1.0]; [Q,R]=size(P); [S,Q]=size(T); lr=0.4*maxlinlr(P); %最佳学习率 net=newlin(minmax(P),S,[0],lr); %创建线性网络 net.inputWeights{1,1}.initFc