第1章人工神经网络.ppt

《神经网络实用教程》学习资料与课程内容 主讲：蒋世忠 信息工程图像处理教研室Blog1:/jiangkekeBlog2:/blog/blog.php?uid=7 教材 书名：《神经网络实用教程》 出版社：机械工业出版社 出版日期：2008年2月 作者：张良均 曹晶 蒋世忠 课件、实验及学习支持网站 1、智能中国网： 2、神经网络在线： / 课件、实验及学习支持网站 神经网络学习网站 智能中国网论坛 我的教学博客 我的专业博客 MATLAB中文论坛 神经网络参考书籍： 神经网络入门教程 /blog/article.php?type=blogitemid=23 课程目的和基本要求 熟悉人工神经网络的基本理论，应用人工神经网络解决实际应用中的问题。 介绍人工神经网络及其基本网络模型 了解人工神经网络的有关研究思想，从中学习先行者们的问题求解方法。 通过仿真实验进一步体会有关模型的用法和性能，能将其应用到读者各自的领域。 掌握混合编程方法，能应用此方法编写实际问题的解决方案。 第1章人工神经网络 第1章人工神经网络 1.1神经网络的基本概念 1.2神经网络的特点及应用 1.1.1生物神经元的结构与功能特点  神经纤维传导演示 神经纤维上的传导 突触间的传导 1.1.1生物神经元的结构与功能特点 1.1.2人工神经元模型 人工神经元是人工神经网络操作的基本信息处理单位,是神经网络设计的基础。 人工神经元模型可以看成是由三种基本元素组成： (1)一组连接 连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值为正表示激活，权值为负表示抑制。 (2)一个加法器 用于求输入信号对神经元的相应突触加权之和。 (3)一个激活函数 用来限制神经元输出振幅。激活函数也称为压制函数，因为它将输入信号压制(限制)到允许范围之内的一定值。 另外，可以给一个神经元模型加一个外部偏置，其作用是增加或降低激活函数的网络输入。 1.1.2人工神经元模型 1.1.2人工神经元模型 一个神经元可以用以下公式表示： 1.1.2人工神经元模型 激活函数主要的三种形式： 阶梯函数 1.1.2人工神经元模型 分段线性函数 1.1.2人工神经元模型 非线性函数 单极S型函数 双极S型函数 1.1.3神经网络的结构及工作方式 人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式 根据神经元的不同连接方式，可将神经网络分为两大类： 分层网络 相互连接型网络 1.1.3神经网络的结构及工作方式 分层网络 单纯的前向网络 1.1.3神经网络的结构及工作方式 分层网络 具有反馈的前向网络 1.1.3神经网络的结构及工作方式 分层网络 层内互联的前向网络 1.1.3神经网络的结构及工作方式 相互连接型网络 1.1.4 神经网络的学习 学习方式 有导师学习（有监督学习） 无导师学习（无监督学习） 再励学习 1.1.4 神经网络的学习 学习算法：学习算法是指针对学习问题的明确规则，不同的学习算法对神经元的权值调整的表达式是不同的。 算法分类 Hebb学习算法 学习算法 随机学习算法 竞争学习算法 1.1.4 神经网络的学习 Hebb学习算法 由Donald O. Hebb提出。 如果两个神经元同时兴奋， 则它们之间的突触连接加强。 如果神经元 是神经元 的 上层结点，用 分别表示 两神经元的激活值(输出)， 表示两个神经元之间的连接权， 则Hebb学习规则可以表示为: 式中 表示学习速率 Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形 1.1.4 神经网络的学习 学习算法 误差校正学习算法是根据神经网络的输出误差对神经元的连接强度进行修正，属于有导师学习 权值调整公式： 调整目标是使下述公式所表达的误差为最小 1.1.4 神经网络的学习 随机学习算法 误差学习算法通常采用梯度下降法，因此存在局部最小问题，随机学习算法通过引入不稳定因子来处理这种情况。 经典随机学习算法 模拟退化算法 遗传算法。 1.1.4 神经网络的学习 竞争学习算法 竞争学习属于无导师算法 神经元通过互相竞争来做出不同的响应 竞争获胜的神经元按规则修正权值 经典竞争学习神经网络 自组织特征映射网络(Self-Organization Map，SOM) 自适应共振网络(Adaptive Resonace Theory，ART) 1.2 神经网络的特点及其应用 神经