BP神经网络基本原理与应用.pptVIP

大脑可视作为10的12次方个神经元组成的神经网络。图神经元的解剖图人类神经元的速度100m/s至150m/s，比计算机的要慢，且电位传播有延时但人类的情感、行为、思维、想法，至今还是计算机没法完全实现为什么计算机暂时还赶不上人脑？因为人与动物神经网络足够复杂一个神经元一般会与100到10000个神经元连接，所构成的网络是一个巨复杂网络！从动物神经网络到人工神经网络神经元的数学模型图神经元的数学模型X为输入，W为权值，y为输出，b为阈值，f(*)为激活函数从动物神经网络到人工神经网络神经元的数学公式X为输入，W为权值，y为输出，b为阈值，f(*)为激活函数?输入值求和：输出值计算：?从动物神经网络到人工神经网络激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）1、线性函数（LinerFunction）f（net）=k*net+cnetooc从动物神经网络到人工神经网络 β ifnetθf（net）= -γ ifnet≤θβ、γ、θ均为非负实数，θ为阈值二值形式： 1 ifnetθf（net）= 0 ifnet≤θ双极形式： 1 ifnetθf（net）= -1 ifnet≤θ2、阈值函数（ThresholdFunction）阶跃函数从动物神经网络到人工神经网络人工神经网络初识2人工神经网络（ANN）众多神经元之间组合形成神经网络，例如下图的含有中间层（隐层）的网络人工神经网络（ANN）基本神经网络的拓扑结构b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp输出层LC隐含层LB输入层LAWV人工神经网络（ANN）分类BP神经网络3何为BP神经网络BP（BackPropagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络。是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。BP神经网络核心思想BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。BP网络常用传递函数:BP网络的传递函数有多种。Log-sigmoid型函数的输入值可取任意值，输出值在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1到+1之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多个隐层，该层中的神经元均采用sigmoid型传递函数，输出层的神经元则采用线性传递函数，整个网络的输出可以取任意值。BP网络常用传递函数:BP网络的传递函数：输入层和输出层可以根据实际问题确定，但权值和阈值初始化，却没有严格的理论基础。而BP神经网络可以通过误差最速下降法，从而调整权值与阈值。权值和阈值如何确定、学习？BP神经网络的学习学习过程：神经网络在外界输入样本的刺激下不断改变网络连接的权值，阈值。以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值、阈值的动态调整学习规则：权值、阈值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则BP神经网络的学习网络结构输入层有n个神经元，隐含层有q个神经元,输出层有m个神经元BP神经网络的学习输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:BP神经网络的学习(一)误差函数的确定网络学习误差函数分为两类：（t为预期值，y为输出值）A、网络对样本逐个的顺序输入而不断学习，是基于单个样本误差e的最小值进行。B、第二是待样本全部输入后，基于E的最小值来完成权值空间的梯度搜索，即批处理过程。BP神经网络的学习(二)误差梯度下降法梯度下降的基本原理：梯度下降法又称最速下降法。函数J(a)在某点ak的梯度是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。在梯度下