.第五章突触动力学Ⅱ有监督学习.pptVIP

* * 第五章 突触动力学Ⅱ：有监督学习 当现有的先验知识不完全时，就需要学习。学习的方式取决于这一先验信息不完全的程度。在监督学习过程中，假设已知未来学习系统的期望响应，并且使用期望值与实际值的差值（即学习系统的误差）去修正系统的行为。而在非监督学习中是不了解学习系统的期望响应的。 －－－－Ya.Z.Tsypkin 神经网络通过向环境获取知识并改进自身性能。一般是按某种预定的度量调节自身的参数（如权值）随时间逐步达到的。 －－－－B.F.Skinner 本章论述要点： 神经网络的分类： 按网络结构分为：反馈网络和前馈网络； 按学习方式分为：监督学习和非监督学习。 本章论述内容： 前馈网络的监督学习算法，包括感知器算法、最小均方误差算法和反向传播（BP） 算法。 理论基础： 本章论述了监督学习是对未知平均误差层的随机近似，即给定观察得到的随机矢量样本对： 要估计一个未知函数：f : x—y，并且使期望误差函数E[J]最小。误差定义为期望特性与实际特性之差。 前馈网络： 上图即为前馈神经网络的结构示意图。各神经元接受前一级输入，并输出到下一级，无反馈。输入、输出节点称为可见层，其他中间层称为隐层。 监督学习： 有监督学习有时也叫有教师学习，“教师”在这里要对一组给定的输入提供应有的输出结果。这组已知的输入－输出数据就称为训练样本集。学习系统如下图： 有监督的函数估计 有监督的学习相当于操作性条件反射 有监督的学习相当于有先验知识的随机模式学习 算法，感知器，LMS，BP 论述内容： 有监督的函数估计： 神经网络引进的函数估计的概念为：已知随机样本矢量对 ，要从这些样本中估计出产生这些样本 矢量对的函数 ，即： 其中： 是输入空间 是输出空间 是要估计的泛函 所采用的方法为是使一个未知期望的误差函数 （也叫目标函数）最小化。 有监督的函数估计： 设N为一个神经网络的传递函数，那么可以定义瞬时误差为 ，这是一个随机向量，因为我们不知道联合概率密度函数p(x,y)，所以，无法求出， , 一般用 。 随机逼近用观测到的随机量来估计期望值，然后在离散的近似算法中使用这些估计量，通常是随机的梯度下降法，举个例子，在Widrow’s LMS算法中，他用的梯度是随机梯度。 幻灯片 5 有监督的学习＝操作性条件反射 幻灯片 5 1.操作性条件反射相当于有监督的学习，如果输入与期望的 输出不同，就调节权值m 有监督的学习＝操作性条件反射 幻灯片 5 2.传统条件反射（相对于非条件反射的概念），神经网络直接把输入x耦合到输出y 有效条件强化响应(Operant conditioning reinforce responses)。条件聚类强化了刺激，例如，一个生物体学会了一刺激响应对： 在条件刺激 S中加一个条件 进行学习，即： 这样不断强化刺激，直到输入 B 时反应为 R。这样就有： 也就是学会了一条规则。这样的例子如巴普洛夫条件反射试验。 ，那么 返回 有监督的学习 ＝有先验知识的随机模式学习 幻灯片 5 例1：用已知的类隶属度作为随机模式学习的有监督学习 模式：定义为模式空间 的一个点； 时变模式：空间 中的一条轨迹线； 映射 定义了从时间区间 到模式空间 中单点的映射。 概率密度 :为模式 x 在 中的分布的一种描述。 模式类：为空间 的子集。 目的：是用已知的样本： 及模式类来估计 有监督的学习 ＝有先验知识的随机模式学习 幻灯片 5 定义 是集合 的指示函数 指示函数指出了模式 x 的类隶属度。如果 S 是将 映射到 而不是 ，那么 S 就是一个连续的或者说是多值的 （模糊的）集合，即模式 x 以不同的程度隶属于不同的类。 分为 k 个不相交的子集： 假设将模式样本空间的 有监督的学习 ＝有先验知识的随机模式学习 幻灯片 5 则