人工智能 课件 第五章 机器学习.ppt

机器学习 支持向量机算法：分类 KKT互补条件为 拉格朗日函数优化问题转化为在KKT互补条件下最大化式b问题,对该问题的求解就可以获得最优分类超平面，也即获得了泛化能力最好的分类函数。 b 机器学习 支持向量机算法：回归 设样本为n维向量，某区域的k个样本及其值表示为： (x1,y1),…,(xk,yk)∈Rn×R目标函数设为： 并假设所有训练数据都可以在精度ε下无误差地用线性函数拟合，即： 考虑到允许拟合误差的情况，引入松弛因子ξ*i≥0和ξi≥0，则上式变成： 机器学习 支持向量机算法：回归 与最优分类超平面中最大化分类间隔相似，回归估计问题转化为在上式约束条件下最小化函数 式中第1项是使回归函数更为平坦，从而提高泛化能力，第2项则为减少误差，常数C0控制对超出误差ε的样本的惩罚程度。ε为一正常数，f(xi)与yi的差别小于ε时不计入误差，大于ε时误差计为|f(xi)-yi|-ε。 1 机器学习 上式的最小化是一个凸二次优化问题，引入拉格朗日函数： 其中：αi,αi*≥0,γi,γi*≥0,i=1,…,k。 最优解为函数的鞍点，在鞍点处，函数L是关于w,b,ξi,ξi*的极小点，是αi,αi*,γi,γi*极大点，式(19)的最小化问题转化为求其对偶问题的最大化问题。 支持向量机算法：回归 机器学习 拉格朗日函数L在鞍点处是关于w,b,ξi,ξi*极小点，故可得到： 将上式代入式1，可得拉格朗日函数的对偶函数： 支持向量机算法：回归 机器学习 若令K(xi,xj)=Φ(xi)·Ф(xj),则上式为： 此时， 支持向量机算法：回归 机器学习 记w·x=w0,函数f(x)可表示为： 支持向量机理论只考虑高维特征空间的点积运算K(xi,xj)=Φ(xi)·Φ(xj)，而不直接使用函数￠，从而巧妙地解决了因￠未知而w无法显式表达的问题，称K(xi,xj)为核函数，已经证明，只要满足Mercer条件的对称函数即可作为核函数。 按照库恩-塔克(KKT)条件定理，在鞍点有下式成立： 支持向量机算法：回归 机器学习 由上式可知对应于αi=C,或αi*=C的f(xi)与yi的误差可能大于ε，对应于αi∈(0,C)或αi*∈(0,C)的f(xi)与yi的误差必然等于ε，也即ξi=0,或ξi*=0，因此有： 从上式可求出b。 对于非线性回归，支持向量机使用非线性映射把数据映射到高维特征空间，在高维特征空间进行线性回归，取得在原空间非线性回归的效果。 支持向量机算法：回归 机器学习 支持向量机算法：参数影响 (1) 多项式核函数: (2) 径向基函数(RBF)核函数: (3) Sigmoid核函数: 机器学习 支持向量机算法：参数影响 以径向基函数为例，选择径向基函数为核函数，建模时需要确定的参数主要有如下几个：C，g，e，e。其中C是惩罚系数；g为径向基函数中的参数；e如前文所述是在回归拟合时对于有误差的样本点是否记录误差的精度；e是建模时最终的训练允许误差。这四个参数和训练样本一起经过训练就可以确定最终的支持向量机模型，因此它们的确定对于支持向量机模型来说是非常重要的，模型的预测性质很大程度上也是由它们确定的。 在这四个参数中e，e是人为控制精度的参数，更多的意义在于定义方面和建模者对于精度的要求，对于模型的预测能力影响很小，可以忽略；而C，g则直接影响了建模的计算过程和模型的性质，对模型的预测精度和泛化能力都有很大的影响。 机器学习 支持向量机算法：参数影响 g 预测值 相对误差(%) 全体样本均方差 全体样本相关系数 3×10-4 3.054 0.196 0.16 0.954 1.2×10-6 3.063 0.098 1.3 0.66 2.5×10-8 3.057 0.098 2.64 0.32 机器学习 支持向量机算法：参数影响 c 预测值 相对误差(%) 全体样本均方差 全体样本相关系数 0.4 3.068 0.26 2.58 0.71 参数g 参数c 预测值 相对误差(%) 全样本均方差 全样本相关系数 迭代次数 计算时间(s) 3×10-4 10 3.054 0.196 0.16 0.954 148 1 机器学习 集成学习 传统模式分类方法的分类结果是建立在单个分类判决的基础上的，其分类结果往往具有一定的片面性、泛化能力较差。 集成学习是对传统模式分类方法的一种延展，与数据融合的理念类似，通过集成学习方法能够融合多组分类器的判决结果，最终得到一个联合判决。 如果对一个样本进行是与非的随机猜测，则这个样本有50%的可能性被猜正确；如果使用一种假设模型的学习结果能够稍高于随机猜测，这种假设即称为弱学习算法；如果使用一个假设能够使随机猜测的准确率显著地提升，那么