SVM支持向量机..docx

SVM 支持向量机一、简介支持向量机在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。 　　以下逐一分解并解释一下： 统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统是一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。 　　VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。SVM关注的是VC维，和样本的维数是无关（甚至样本可以是上万维的，这使得SVM很适合用于解决文本分类的问题，也因此引入了核函数）。 　　结构风险最小：机器学习本质上就是对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型作为假设），而真实模型是未知的。假设与问题真实解之间的误差，叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设（即分类器）之后，我们可以用某些可以掌握的量来逼近误差，最直观的方法就是使用分类器在样本数据上的分类的结果与真实结果（样本是已标注过的数据，即准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上很轻易的达到100%的正确率，在应用于真实分类时却一塌糊涂（即推广能力差，或称泛化能力差）。此时需要选择了一个足够复杂的分类函数（它的VC维很高），精确的记住每一个样本，但对样本之外的数据一律分类错误。基于经验风险最小化原则我们就会发现，该原则适用的大前提是经验风险要能够逼近真实风险才行，但实际上是不能逼近的，因为样本数相对于现实应用要分类的文本数来说太少，经验风险最小化原则只能在占很小比例的样本上做到没有误差，不能保证在更大比例的真实文本上也没有误差。 　　统计学习从而引入泛化误差界的概念，即真实风险应该由经验风险，代表了分类器在给定样本上的误差，以及置信风险，代表了我们能在多大程度上信任分类器在未知文本上分类的结果。置信风险是无法精确计算的，只能给出一个估计的区间，使得整个误差只能计算上界，而无法计算准确值。　　置信风险与两个量有关，一是样本数量，显然给定的样本数量越大，我们的学习结果越有可能正确，此时置信风险越小；二是分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。 　　泛化误差界的公式为： R(w)≤Remp(w)+Ф(n/h) 　　公式中R(w)就是真实风险，Remp(w)就是经验风险，Ф(n/h)就是置信风险。统计学习的目标从经验风险最小化变为了结构风险最小，即经验风险与置信风险的和最小。 　　SVM正是这样一种基于结构风险最小化的算法。 　　SVM的其他特点：小样本，这里的小样本是相对的，对于算法来说，更多的样本几乎总是能带来更好的效果，与问题的复杂度相比，SVM算法要求的样本数是比较少的。 　　非线性，SVM擅长应对样本数据线性不可分的情况，通过松弛变量（惩罚变量）！和核函数！来实现。高维模式识别是指样本维数很高，例如文本的向量表示，如果没有经过降维处理，出现几万维的情况很正常，其他算法基本无法处理。而SVM 产生的分类器很简洁，用到的样本信息很少（仅用到那些称之为“支持向量”的样本），在样本维数很高的情况下，也不会给存储和计算造成困扰，可以适用于样本维数很高的情况。（例如：KNN算法在分类时要用到所有样本，样本数巨大，若每个样本维数高的话，基本无法应对）。二、线性分类器线性分类器(感知机) 是简单且有效的分类器形式.在一个线性分类器中,可以了解SVM形成的思路和SVM的核心概念。例1：如图，一个二维空间里仅有两类样本C1和C2是要区分的两个类别，中间的直线就是一个分类函数，它可以将两类样本完全分开。一般，若一个线性函数能够将样本完全分开，称这些数据是线性可分的，否则称为非线性可分。线性函数：在一维空间里就是一个点，在二维空间里就是一条直线，三维空间里就是一个平面，即n维空间中的（n-1）维组件，若不考虑空间维数，这种线性函数也称超平面（Hyper Plane）。实际上，线性函数是实值函数（即函数的值是连续的实数），而分类问题（例如这里的二元分类问题—判断样本属于还是不属于一个类别的问题）需要离散的输出值，例如用1表示某个样本属于类别C1，而用-1