svm算法的泛化性能.docx

svm算法的泛化性能 1 svm的应用,源于数学 人工智能是继专家系统以来的另一个重要研究领域，也是人工智能和神经计算的中心主题之一。对学习算法的创新可以极大地推动整个神经网络的发展。大多数机器学习算法的研究包括对数据的预测。目的是评估已知数据的相关性，并预测未来的情况。近年来，基于神经网络、灵活性统计和统计力学的学习算法取得了一些进展，两位科学家提出了一些新的概念和方法。从表面上看，这些概念和方法之间存在一些联系，但事实上，它们之间存在许多差异。人们需要一个完整的理论体系来预测学习算法。 最近出现的VC理论(Vapnik-Chervonenkis)将学习问题的相关概念和原理进行了很好的结合,它比基于直觉和生物理论等经验性机器学习方法更有说服力,VC理论被认为是从有限数据中预测相关性的统一数学框架.尽管VC理论作为数学理论已出现了25年,但人们还没有充分体会和完全欣赏到它的理论和实际价值,近期的研究已经表明VC理论可以改善各种各样的神经网络学习算法. 更为重要的是基于VC理论的创造性机器学习方法SVM(Support Vector Machine)的出现.SVM是由Vapnik领导的ATT Bell实验室研究小组提出的一种新的非常有潜力的分类技术,它开辟了学习高维数据新的天地,这种新的学习算法可以替代多层感知机、RBF神经网络和多项式神经网络已有的学习算法,它也是一种可实现一些表示问题的建设性方法,在多层感知机、RBF神经网络和小波神经网络中有成功运用,同时SVM方法实际中有一些应用(如人面检测、KDD和信号处理)也说明了VC理论的理论和实用价值. 1995年,文献和文献的出现是SVM诞生的标志,目前国外学者已取得了一些成果,作者的很多资料都从Internet网络获得,IEEE Transactions on Neural Networks也已经出版了关于VC维理论和SVM方面的专辑(见Vol.10(5),1999).但目前在国内,SVM的研究似乎尚未起步.我们曾对神经网络理论进行了较深入的研究,在本文中作者以和神经网络学习算法相比较的方式,介绍SVM理论及其研究进展,目的在于激发国内众多神经网络理论研究者的兴趣,抛砖引玉,以期促进和推动我国该方面的研究. 2 bp网络学习算法 在过去的十年里,人工神经网络理论及其应用的研究是计算机与人工智能、认知科学、数学和物理学等相关专业的热点.由于神经网络具有很强自学习能力,即系统在学习过程中不断完善自己,具有创新特点,它不同于AI中的专家系统,后者只是专家经验的知识库,并不能创新和发展,因而吸引了众多的研究学者,学习算法的研究也成为神经网络研究中的关键问题. 1958年,Rosenblatt提出了感知机(Peceptron)的概念,感知机在神经网络的研究中有着重要的地位和意义,它首先提出了自组织、自学习的思想,对能够解决的线性可分问题,有一个非常清楚的收敛算法,并从数学给出了严格的证明.以后的很多模型都是在这种指导思想下建立的,或是它的改进和推广. 1986年,Rumelhart和McClelland领导的PDP研究小组在Werbos博士论文的基础上发展了误差反向传播网络学习算法,即BP算法.BP网络可以处理线性不可分问题,具有强大的运算能力,纠正了Minsky等人的片面观点,神经网络的研究也由复兴走向第二次高潮. 尽管感知机对线性可分问题,有一个收敛的学习算法,但由于算法的初始值可任意选定,使得由此产生的分离超平面有无穷多种,往往造成了分类超平面严重偏向某一类,即导致了感知机泛化性能不高.另一方面,这种分类算法没能对在分类中起关键作用的训练元素进行刻划,当分类结束后添加新的训练样本时,先前已有的运算结果已无作用,网络须重新学习所有样本,可见这种算法没有真正起到“学习”作用. 虽然BP网络通过增加隐层具有了非线性映射逼近能力,在神经网络的研究和应用中占着举足轻重的地位,也为神经网络的研究起过强烈的推动作用,但由于BP网络学习算法实际上是利用梯度下降法调节权值使目标函数达到极小,而目标函数仅为各给定输入和相应输出差的平方和,导致了BP网络过分强调克服学习错误而泛化性能不强.同时BP网络还具有一些其它难以克服的缺陷,如隐单元的个数难以确定,网络的最终权值受初始值影响大等.另外,对在联想记忆中起重要作用的Hopfield网络,它的能量函数也是各给定输入和期望输出差的平方和,因此学习算法与上述情形存在同样的问题. 近年来,随着人工神经网络研究的深入,人们更加认识到它存在的严重不足,如尽管众多的研究者已经提出了大量的学习算法,但大都基于克服训练错误,从概率统计的角度说,神经网络的学习算法仅仅试图使经验风险最小化,并没有使期望风险最小化(见3、节4),与传统的最小二乘法相比,在原理上却缺乏实质性