5-分类器的设计-第五章.ppt

广义线性判别函数 这样一个非线性判别函数通过映射，变换成线性判别函数。 判别函数的一般形式： 广义线性判别函数（续） 广义线性判别函数（续） 要用二次判别函数才可把二类分开： 若设计分类器，一是选定所用的判别函数类型，二是确定方程的两个参数（权向量及阈值）。 分类器设计任务是在给定的训练样本条件下，确定线性判别函数的各项系数，在进行未知样本分类中，能满足相应的准则函数为最优的要求。可总结为以下几步： 1.确定使用的判别函数或决策面方程类型。 2.按需要确定一准则函数。 3.确定准则函数达到极值时 具体数值。 分类器设计中的参数选择 训练与学习是指从训练样品提供的数据中找出某种数学式的最优解，这个最优解使分类器得到一组参数，按照这种参数设计的分类器使人们设计的某种准则达到极值。 了解训练与学习的三个概念： 1.训练集：已知样品集，用来开发模式分类器 2.测试集：在设计分类系统时没有用过的独立样品集 3.系统评价原则：判断模式识别系统能否正确分类。 训练与学习 第五章  分类器设计 本章主要内容 分类器设计准则 分类器设计基本方法 判别函数 训练与学习 分类器设计准则 分类问题是根据待识别对象所呈现的观察值，将其分到某个类别中去。具体步骤是： 1.建立特征空间中的训练集，已知训练集里某个点所属类别。 2.从这些条件出发寻求某种判别函数或判别准则，设计判别函数模型。 3.根据训练集中的样品确定模型中的参数，得到完善的判别函数模型 4.利用完善的判别函数或判别准则去判别每个未知类别的点应该属于哪类 分类器设计准则 在统计模式识别中，讨论的主要问题不是决策正误，而是决策正误的概率问题。模式识别所强调的“最佳”“最优”，这种最优是针对某一设计原则讲的，这种原则成为准则。 这种准则包括： 最小错误率准则：以减少分类错误为原则 最小风险准则：引入风险损失概念，赋予不同权值，使总的风险最小 近邻准则：依据同类物体在空间中具有聚类特性的原理进行区分。 Fisher准则：寻求最好的直线方向以及如何实现向最好方向投影的变换 感知准则：感知准则函数使错分类样品到分界面距离之和最小为原则。 分类器设计基本方法 1.模板匹配法 通常采用最近邻原则，最简单的一种分类方法，缺点是计算量大、存储量大。 2.判别函数法 （1）基于概率统计的分类法 往往取决于前期统计分布的相关知识，最经典的BAYES分类器，利用先验概率和类条件概率密度函数，计算出后验概率，以此设计出判别函数与判决面。 （2）几何分类法 不依赖于条件概率密度的知识，通过几何的方法把特征空间分解为对应于不同类别的子空间。 模式识别的基本问题 一.模式(样本)表示方法 向量表示 : 假设一个样本有n个变量(特征) Ⅹ= (X1,X2,…,Xn)T 2. 矩阵表示: N个样本，每一个样本n个变量(特征) 几何表示 一维表示 X1=1.5 X2=3 二维表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三维表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T 分类的过程 判别函数 假设对一模式X已抽取n个特征，表示为： 模式识别问题就是根据模式X的n个特征来判别模式属于ω1 ,ω2 , … , ωm 类中的那一类。 例如下图：三类的分类问题，它们的边界线就是一个判别函数 判别函数 判别函数包含两类： 一类 是线性判别函数： 线性判别函数 广义线性判别函数 （所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数） 分段线性判别函数 另一类是非线性判别函数 判别函数 线性判别函数 我们现在对两类问题和多类问题分别进行讨论。 (一)两类问题 即: 1. 二维情况 ：取两个特征向量 这种情况下 判别函数: 在两类别情况，判别函数 g (x) 具有以下性质： 这是二维情况下判别由判别边界分类. 情况如图： 1. 二维情况 2. n维情况 现抽取n个特征为： 判别函数： 另外一种表示方法： 模式分类： 当 g1(x) =WTX=0 为判别边界 。当n=2时，二维情况的判别边界为一直线。当n=3时，判别边界为一平面，n3时，则判别边界为一超平面。 2. n维情况模式分类 (二) 多类问题 对于多类问