神经网络及应用实验报告.pdfVIP

神经网络及应用 实验报告 院系 ：电气工程学院 班级 ：adf3班 姓名 ：adsf 学号 ：20sdf 1 实验二、基于 网络的多层感知器 BP 一：实验目的： 1. 理解多层感知器的工作原理 2. 通过调节算法参数了解参数的变化对于感知器训练的影响 3. 了解多层感知器局限性 二：实验原理： BP 的基本思想：信号的正向传播 误差的反向传播 –信号的正向传播：输入样本从输入层传入，经各隐层逐层处理后，传向输出层。 –误差的反向传播：将输入误差以某种形式通过隐层向输入层逐层反传，并将误 差分摊给各层的所有单元，从而获得各层单元的误差信号来作为修正各单元权值 的依据。 1. 基本BP算法的多层感知器模型： 2 2.BP学习算法的推导： 当网络输出与期望输出不等时，存在输出误差E 将上面的误差定义式展开至隐层，有 进一步展开至输入层，有 调整权值的原则是使误差不断地减小，因此应使权值的调整量与误差的梯度下降 成正比，即 η∈(0,1)表示比例系数，在训练中反应学习速率 BP算法属于δ学习规则类，这类算法被称为误差的梯度下降（GradientDescent） 算法。 三：实验内容： Hermit多项式如下式所示：f(x) 1.1(1-x+2x^2)exp(-x^2/2) 3 采用BP算法设计一个单输入单输出的多层感知器对该函数进行逼近。 训练样本按以下方法产生：样本数P 100，其中输入样本xi服从区间[-4，4]内 的均匀分布，样本输出为F(xi)+ei ,ei为添加的噪声，服从均值为0，标准差 为0.1的正态分布。 隐层采用Sigmoid激活函数f(x) 1/(1+1/e^x)，输出层采用线性激活函数 f(x) x。 注意：输出层采用的线性激活函数，不是Sigmoid激活函数，所以迭代公式需要 根据前面的推导过程重新推导。 四：实验步骤： 1. 用Matlab编程，实现解决该问题的单样本训练BP 网络，设置一个停止迭代 的误差Emin和最大迭代次数。在调试过程中，通过不断调整隐层节点数，学习 率η，找到收敛速度快且误差小的一组参数。产生均匀分布在区间[-4，4]的测 试样本，输入建立的模型得到输出，与Hermit多项式的期望输出进行比较计算 总误差 （运行5次，取平均值），并记录下每次迭代结束时的迭代次数。（要求 误差计算使用RME，Emin 设置为0.1） 2. 实现解决该问题的批处理训练BP 网络，调整参数如上。产生均匀分布在区间 [-4，4]的测试样本，输入建立的模型得到输出，与Hermit多项式的期望输出进 行比较计算总误差 （运行5次，取平均值），并记录下每次迭代结束时的迭代次 数。 3. 对批处理训练BP算法增加动量项ΔW(t) ηδX+αΔW(t-1)，α∈(0,1), 调整参数如上，记录结果，并与没有带动量项的批处理训练BP算法的结果相比 较。 4. 对批处理BP算法改变参数：学习率η、迭代次数、隐层节点数，观察算法的 收敛发散，以及测试误差的变化 （对每个参数取几个不同参数，分别运行5次， 结果取平均值）。 五：实验程序： 4 （一）：单样本训练ＢＰ网络 function [epoch,s,Wki,Wij,Wb,Ez] dyb(lr,Emin,q) %初始化； %lr 学习效率；Emin为期望误差最小值；q为隐含层节点数； b 1;sum 0;Ez []; max_epoch 30000;%max_epoch训练的最大次数； %提供训练集和目标值； x 8.*rand(1,100)-4; y 1.1.*(1-x+2.*x.^2).*exp