第五章 非线性判别函数.ppt

第一页，共三十页，2022年，8月28日 §5.1 引言 对实际的模式识别问题来说，各类在特征空间中的分布往往比较复杂，因此无法用线性分类函数得到好的效果。这就必须使用非线性的分类方法。 第五章 非线性判别函数 由于样本在特征空间分布的复杂性，许多情况下采用线性判别函数不能取得满意的分类效果。－非线性判别函数 例如右图所示两类物体在二维特征空间的分布，采用线性判别函数就无法取得满意的分类效果。在这种情况下，可以采用分段线性判别或二次函数判别等方法，效果就会好得多。 第二页，共三十页，2022年，8月28日 § 5.1 引言 在对待非线性判别分类问题，有三种不同的方法： 第一：传统的模式识别技术，侧重于使用分段线性判别函数。 第二：对基于错误修正法的感知准则函数进行扩展，人工神经元网络（多层感知器等网络）能够实现复杂的非线性分类，以及非线性函数拟和，非线性映射等。 第三：支持向量机则提出了一种基于特征映射的方法，也就是使用某种映射，使本来在原特征空间必须使用非线性分类技术才能解决的问题映射到一个新的空间以后, 使线性分类技术能继续使用。 第三页，共三十页，2022年，8月28日 一种特殊的非线性判别函数－分段线性判别函数 决策面由若干超平面段组成，计算比较简单 能逼近各种形状的超曲面，适应能力强 Ⅱ Ⅲ § 5.1 引言 第四页，共三十页，2022年，8月28日 §5.2基于距离的分段线性判别函数 出发点：如果两类样本可以划分为线性可分的若干子类，则可以设计多个线性分类器，实现分段线性分类器。 基本思想：用均值作为各类的代表点，用通过均值连线中点的垂直线对样本集进行分类 第五章 非线性判别函数 第五页，共三十页，2022年，8月28日 把ωi类可以分成li个子类，或者说，把属于ωi 类的样本区域Ri分为li个子区域。 现在定义mil表示第i类第j个子区域中样本的均值向量，并以此作为该子区域的代表点。定义判别函数如下： （在同类的子类中找最近的均值。） 判别规则： 这是在M类中找最近均值。则把x归于ωj类完成分类。 基于与类心距离的分段线性判别函数 § 5.2 基于距离的分段线性判别函数 第六页，共三十页，2022年，8月28日 例：未知x,如图： 先与ω1类各子类的均值比较，即 ，找一个最近的 与ω2各子类均值比较取最近的 因g2(x) g1(x) ，所以x∈ω2类 。 § 5.2 基于距离的分段线性判别函数 第七页，共三十页，2022年，8月28日 利用均值代表一类有时有局限性，如下图所示。若用线性判别函数代表一类，就会克服上述情况。 § 5.2 基于距离的分段线性判别函数 第八页，共三十页，2022年，8月28日 设ω＝ ω1, ω2 ,……ωm。而每一类又可以分为 子类。 对每个子类定义一个线性判别函数： 定义ωi类的线性判别函数为： 在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi(x),i=1,2,…..M,因此，决策规则为： § 5.2 基于距离的分段线性判别函数 基于与分界面距离的分段线性判别函数 对未知模式x， 把x先代入每类的各子类的判别函数中； 找出一个最大的子类判别函数，M类有M个最大子类判别函数； 在M个子类最大判别函数中，再找一个最大的； 则x就属于最大的子类判别函数所属的那一类。 第九页，共三十页，2022年，8月28日 §5.3 每类的子类数目已知—错误修正算法 在感知准则函数中定义过：ai与aj代表两类增广权向量，y则代表增广权向量。 一般来说点积值比较大则表示这两个向量在方向上比较一致，换句话说向量间的夹角较小。 如果某一类样本比较分散，但是能用若干个增广权向量表示，使同一类增广样本向量能够做到与代表自己一类的增广权向量的点积的最大值，比与其它类增广权向量的点积值要大，就可以做到正确分类。 因此这种算法就是要用错误提供的信息进行叠代修正。 是ai向量与y向量的点积 是aj向量与y向量的点积 第五章 非线性判别函数 第十页，共三十页，2022年，8月28日 当每类的子类数目已知时，可以采用假设初始权向量，然后由样本提供的错误率信息进行迭代修正，直至收敛。 该算法的基本要点是： 对每个类别的子类赋予一初始增广权向量 然后对每次迭代所得增广权向量用样本去检测，如发生错误分类，则利用错误分类的信息进行修正。其做法是： 1）在第k次迭代时，将第j类的某个增广样本向量yj，与该类