线性判别函数.ppt

4.3感知准则函数（两类）批处理—把所有错分类样本一次性找出来修正与人的学习方式不同，人采用“单样本修正”方式单样本修正—找出一个错分样本即进行修正第31页，讲稿共64页，2023年5月2日，星期三4.3感知准则函数（两类）按单样本修正法重作例题固定增量法第32页，讲稿共64页，2023年5月2日，星期三4.3感知准则函数（两类）迭代方法要从理论上证明收敛，此处仅以图形方式说明修正前错分类修正后正确分类第33页，讲稿共64页，2023年5月2日，星期三4.3感知准则函数（两类）结论：可以证明，采用梯度下降法对于线性可分的样本集，经过有限步修正，一定能找到一个使准则函数达到极小值的权向量a，即算法在有限步内收敛，其收敛速度取决于初始权向量和步长。分类界面接近最终位置时，步长需选得较小，否则修正过头。但如各步步长都选得很小，收敛速度变慢。为此，采用变步长方案。对于线性不可分情况，算法不收敛。第34页，讲稿共64页，2023年5月2日，星期三4.3感知准则函数（两类）单样本修正与批处理的比较：（1）学习开始时不能得到所有的训练样本，必须使用在线方法。（2）训练样本数很大时，单样本方便，比批处理有效，因为批处理需要附加记忆来积累局部更新。（3）单样本引入一些随机噪声，有助于逃离局部极小值。批处理引入一些平均滤波。（4）单样本适合大规模分类问题，因为很多训练样本含有冗余信息，对梯度贡献类似，更新权值前计算所有样本浪费。第35页，讲稿共64页，2023年5月2日，星期三4.3感知准则函数（两类）单样本修正与批处理的比较：（5）批处理对梯度矢量估计较好，避免了权值变化相互影响，因此需要高精度映射时，选用批处理方法，但其难于通过提高计算速度来补偿增加的计算开销。（6）批处理在复杂优化中有直接应用，单样本与批处理的相对有效性与求解的问题直接相关。结论：许多情况下，单样本修正优于批处理，特别是对大的和冗余的训练集。第36页，讲稿共64页，2023年5月2日，星期三4.4最小平方误差准则函数感知器对线性不可分情况不收敛∵样本集是否线性可分无法确定∴希望找到一种既适合线性可分又适合线性不可分情况的算法。该算法具有如下特性：对于线性可分情况，一定能找到将样本全部正确分类的权向量。对于线性不可分情况，得到一个使误差平方和极小的权向量。该准则函数称为平方误差准则函数。第37页，讲稿共64页，2023年5月2日，星期三4.4最小平方误差准则函数定义平方误差准则函数第38页，讲稿共64页，2023年5月2日，星期三4.4最小平方误差准则函数最小二乘近似解即方程个数大于未知数个数，属超定方程组，一般无解，但可求线性最小二乘解。第39页，讲稿共64页，2023年5月2日，星期三4.4最小平方误差准则函数一、伪逆法（解析方法）第40页，讲稿共64页，2023年5月2日，星期三4.4最小平方误差准则函数一、伪逆法（解析方法）第41页，讲稿共64页，2023年5月2日，星期三4.4最小平方误差准则函数一、伪逆法（解析方法）b的选取？等价于Fisher线性判别渐进逼近贝叶斯判别函数第42页，讲稿共64页，2023年5月2日，星期三4.4最小平方误差准则函数第43页，讲稿共64页，2023年5月2日，星期三4.4最小平方误差准则函数上例中如何求逆？初等变换第44页，讲稿共64页，2023年5月2日，星期三4.4最小平方误差准则函数二、梯度下降法第45页，讲稿共64页，2023年5月2日，星期三关于线性判别函数第1页，讲稿共64页，2023年5月2日，星期三4.1引言问题的提出线性决策面是较简单的，易于实现，因此本章主要讨论线性分类器。第2页，讲稿共64页，2023年5月2日，星期三4.1引言判别函数形式第3页，讲稿共64页，2023年5月2日，星期三4.1引言两类情况决定分类界面的方向，决定分类界面的位置第4页，讲稿共64页，2023年5月2日，星期三4.1引言线性分类器的设计步骤（1）有一已知类别的样本集H（2）确定一准则函数（3）利用最优化技术求出准则函数极值解第5页，讲稿共64页，2023年5月2日，星期三4.1引言与最优分类器的关系贝叶斯分类器是在错误率或风险下为最优的分类器。线性分类器针对错误率或风险是“次优”的。但对于所采用的准则函数则是最优的。线性可分性