BP人工神经网络的基本原理、模型与实例.ppt

参考资料(美)韩家炜,(美)坎伯(Kamber,M.),等.数据挖掘:概念与技术,第3版[M].机械工业出版社,2012.张兴会.数据仓库与数据挖掘技术[M].清华大学出版社,2011.*第8章

人工神经网络方法2016年4月27日本讲大纲：人工神经网络的基本概念误差反向传播(BP)神经网络8.1人工神经网络的基本概念从数学和物理方法以及信息处理的角度，对人脑神经网络进行抽象，并建立某种简化模型，称为人工神经网络。应用领域：模式识别系统辨识预测预估数据挖掘经济学……8.1人工神经网络的基本概念人工神经网络在本质上是由许多小的非线性函数组成的大的非线性函数，反映的是输入变量到输出变量间的复杂映射关系。先给出单个人工神经网络的一般模型描述：8.1人工神经网络的基本概念先来看一个单一输入的神经元模型输入变量：x1连接权重：w1激活函数：f(·)w1x1f(·)w1x18.1人工神经网络的基本概念8.1人工神经网络的基本概念单极sigmoid函数8.1人工神经网络的基本概念双曲函数8.1人工神经网络的基本概念增加激活阈值后的神经元模型输入变量：x1连接权重：w1激活函数：f(·)w1x1f(·)w1x1-θ-1小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？x1w1θ10.20.48.1人工神经网络的基本概念当输入增加时的神经元模型输入变量：x1，x2连接权重：w1，w2激活函数：f(·)w1x1f(·)w1x1+w2x2-θ-1w2x2小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？x1x2w1w2θ100.20.40.48.1人工神经网络的基本概念w1w2wmxmx2x1............f(·)-18.1人工神经网络的基本概念当多个神经元组合起来时，人工神经网络的总体结构如下：输入层隐藏层-1-1-1∑f∑f........................xmx2x1........................y1y2yn∑f∑f∑f∑f∑f∑f∑f-1输出层............8.1人工神经网络的基本概念当层数增加时的神经元模型输入变量：x1，x2连接权重：w1，w2激活函数：f(·)w1x1f(·)w1x1+w2x2-θ-1w2x2小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？x1x2w1w2θ100.20.40.48.1人工神经网络的基本概念x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.20.4-0.2-0.1123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6初始输入、权重和偏倚值小练习：请你算一算，各节点的净输入和净输出分别是多少？8.1人工神经网络的基本概念单元j净输入Ij净输出Oj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6净输入和输出的计算-0.70.10.3320.525-0.1050.47440.2+0-0.5-0.4=-0.75-0.3+0+0.2+0.2=0.16-(0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051/(1+e0.7)=0.3321/(1+e-0.1)=0.5251/(1+e0.105)=0.4748.1人工神经网络的基本概念思考：如果想要让神经网络的期望输出尽可能接近“1”这个数值，请问应该调整网络的哪些参数？8.1人工神经网络的基本概念123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.19