RBF（径向基）神经网络.pdf

RBF （（径径向向基基））神神经经⽹⽹络络 　　只要模型是⼀层⼀层的，并使⽤A D/BP算法，就能称作 BP神经⽹络。RBF 神经⽹络是其中⼀ 特例。本⽂主要包括以下内容： 什么是径向基函数 RBF神经⽹络 RBF神经⽹络的学习问题 RBF神经⽹络与BP神经⽹络的区别 RBF神经⽹络与SVM的区别 为什么⾼斯核函数就是映射到⾼维区间 前馈⽹络、递归⽹络和反馈⽹络 完全内插法 ⼀、什么是径向基函数 　　1985年，Powell提出了多变量插值的径向基函数 （RBF）⽅法。径向基函数是⼀ 取值仅仅依赖于离原点距离的实值函数，也就是 Φ （x）=Φ(‖x ‖),或者还可以是到任意⼀点c的距离，c点称为中⼼点，也就是Φ （x ，c）=Φ(‖x-c ‖)。任意⼀ 满⾜Φ （x）=Φ(‖x ‖)特性的函数 Φ都叫做径向基函数，标准的⼀般使⽤欧⽒距离 （也叫做欧式径向基函数），尽管其他距离函数也是可以的。最常⽤的径向基函数是⾼斯核 函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^ /( *σ)^ ) } 其中x_c为核函数中⼼,σ为函数的宽度参数 , 控制了函数的径向作⽤范围。 ⼆、RBF神经⽹络 　　RBF神将⽹络是⼀种三层神经⽹络，其包括输⼊层、隐层、输出层。从输⼊空间到隐层空间的变换是⾮线性的，⽽从隐层空间到输出层 空间变换是线性的。流图如下： 　　RBF⽹络的基本思想是：⽤RBF作为隐单元的“基”构成隐含层空间，这样就可以将输⼊⽮量直接映射到隐空间，⽽不需要通过权连接。 当RBF的中⼼点确定以后，这种映射关系也就确定了。⽽隐含层空间到输出空间的映射是线性的，即⽹络的输出是隐单元输出的线性加权 和，此处的权即为⽹络可调参数。其中，隐含层的作⽤是把向量从低维度的p映射到⾼维度的h，这样低维度线性不可分的情况到⾼维度就可 以变得线性可分了，主要就是核函数的思想。这样，⽹络由输⼊到输出的映射是⾮线性的，⽽⽹络输出对可调参数⽽⾔却⼜是线性的。⽹络 的权就可由线性⽅程组直接解出，从⽽⼤⼤加快学习速度并避免局部极⼩问题。 　　径向基神经⽹络的激活函数可表⽰为： 　　其中x 径向基神经⽹络的结构可得到⽹络的输出为： p 　　当然，采⽤最⼩⼆乘的损失函数表⽰： 三、RBF神经⽹络的学习问题 　　求解的参数有3 ：基函数的中⼼、⽅差以及隐含层到输出层的权值。 　　 （1）⾃组织选取中⼼学习⽅法： 　　第⼀步：⽆监督学习过程，求解隐含层基函数的中⼼与⽅差 　　第⼆步：有监督学习过程，求解隐含层到输出层之间的权值 　　⾸先，选取h 中⼼做k-means聚类，对于⾼斯核函数的径向基，⽅差由公式求解： 　　cmax为所选取中⼼点之间的最⼤距离。 　　隐含层⾄输出层之间的神经元的连接权值可以⽤最⼩⼆乘法直接计算得到，即对损失函数求解关于w 的偏导数，使其等于0，可以化简 得到计算公式为： 　　 （）直接计算法 　　隐含层神经元的中⼼是随机地在输⼊样本中选取，且中⼼固定。⼀旦中⼼固定下来，隐含层神经元的输出便是已知的，这样的神经⽹络 的连接权就可以通过求解线性⽅程组来确定。适⽤于样本数据的分布具有明显代表性。 　　 （3）有监督学习算法 　　通过训练样本集来获得满⾜监督要求的⽹络中⼼和其他权重参数，经历⼀ 误差修正学习的过程，与BP⽹络的学习原理⼀样，同样采 ⽤梯度下降法。因此RBF同样可以被当作BP神经⽹络的⼀种。 　　参考： 四、RBF神经⽹络与BP神经⽹络之间的区别 　　1、局部逼近与全局逼近：　 　　BP神经⽹络的隐节点采⽤输⼊模式与权向量的内积作为激活函数的⾃变量，⽽激活函数采⽤Sigmoid函数。各调参数对BP⽹络的输出 具有同等地位的影响，因此BP神经⽹络是对⾮线性映射的全局逼近。 　　RBF神经⽹络的隐节点采⽤输⼊模式与中⼼向量的距离 （如欧式距离）作为函数的⾃变量，并使⽤径向基函数 （如Gaussian函数）作 为激活函数。神经元的输⼊离径向基函数中⼼越远，神经元的激活程度就越低 （⾼斯函数）。RBF⽹络的输出与部分调参数有关，譬如，⼀ w 值只影响⼀ y 的输出 （参考上⾯第⼆章⽹络输出），RBF神经⽹络因此具有“局部映射”特性。 ij i 　　 　　所谓局部逼近是指⽬标函数的逼近仅仅根据查询点附近的数据。⽽事实上，对于径向基⽹络，通常使⽤的是⾼斯径向基函数，函数图象是两边衰减且径向 对称的，当选取的中⼼与查询点 （即输⼊数据）很接近的时候才对输⼊有