贝叶斯分类器讲义.ppt

贝叶斯分类器 一、分类器的概念 分 类 特征提取 特征：对象的特殊属性 特征向量：特征的描述参数 方法：列出特征表用排除方法计算不同特征的相对概率，然后选取 良好的特征的特点：可区别性、可靠性、独立性、数量少 分类器的设计 逻辑结构：（分类规则）相似程度 分类规则的数学基础：（阈值规则）特征空间 分类器的训练 基本方法：用一组已知的对象来训练分类器 目的的区分：1. 分类错误的总量最少 2. 对不同的错误分类采用适当的加权 使分类器的整个“风险”达到最低 偏差：分类错误 分类器的性能测试 已知类别的测试集；已知对象特征PDF的测试集 PDF的获取：画出参数的直方图，并计算均值和方差，再规划到算法面积，需要的话再做一次平滑，就可将这个直方图作为相应的PDF设计 独立每一类的测试集 使用循环的方法 二、概率论基本知识 样本空间的划分 说明： 全概率公式的主要用途在于它可以将一个复杂事件的概率计算问题,分解为若干个简单事件的概率计算问题,最后应用概率的可加性求出最终结果。 贝叶斯公式 Bayes公式的意义 Bayes公式，其意义是：假设导致事件A发生的“原因”有Bi(i=1,2,…,n)个。它们互不相容。 现已知事件A确已经发生了，若要估计它是由“原因”Bi所导致的概率，则可用Bayes公式求出.即可从结果分析原因. 三、贝叶斯分类器 确定性分类和随机性统计分类 以两类分类问题来讨论，设有两个类别ω1和ω2，理想情况， ω1和ω2决定了特征空间中的两个决策区域。 确定性分类： 我们任取一个样本x，当它位于ω1的决策区域时，我们判别x ∈ω1；当它位于ω2的决策区域时，我们判别x ∈ω1。也可以说：当x位于ω1的决策区域时，它属于ω1的概率为1，属于ω2的概率为0。 随机性统计分类： 如我们任取一个样本x，当它位于ω1的决策区域时，它属于ω1的概率为小于1，属于ω2的概率大于0，确定性分类问题就变成了依照概率判决规则进行决策的统计判别问题。 先验概率、后验概率和类(条件)概率密度： 先验概率： 根据大量样本情况的统计，在整个特征空间中，任取一个特征向量x，它属于类ωj的概率为P(ωj),也就是说，在样本集中，属于类ωj的样本数量于总样本数量的比值为P(ωj)。我们称P(ωj)为先验概率。 显然，有： P(ω1)＋ P(ω2)＋…… ＋P(ωc)＝1 如果没有这一先验知识，那么可以简单地将每一候选类别赋予相同的先验概率。不过通常我们可以用样例中属于类ωj的样例数|ωj|比上总样例数|D|来近似，即 后验概率： 当我们获得了某个样本的特征向量x，则在x条件下样本属于类ωj的概率P(ωj|x)称为后验概率。 在得到信息之后再重新加以修正的概率叫做后验概率， 后验概率就是我们要做统计判别的依据。 类（条件）概率密度： P(x|ωj)是指当已知类别为ωj的条件下，看到样本x出现的概率。 若设x = a1,a2…am，则P(x|ωj)= P(a1,a2…am| ωj) 后验概率的获得： 后验概率是无法直接得到的，因此需要根据推理计算由已知的概率分布情况获得。 根据贝叶斯公式可得： 贝叶斯分类原理： 根据已知各类别在整个样本空间中的出现的先验概率，以及某个类别空间中特征向量X出现的类条件概率密度，计算在特征向量X出现的条件下，样本属于各类的概率，把样本分类到概率大的一类中。 利用贝叶斯方法分类的条件： 各类别总体的概率分布是已知的； 要分类的类别数是一定的； 癌细胞识别，两类别问题——细胞正常与异常 若仅利用先验概率进行分类 统计的角度得出的两类细胞的出现概率 无法实现正常与异常细胞的分类目的 先验概率提供的信息太少，要结合样本观测信息，为此需要利用类条件概率 这样，我们就规定样本x归属于后验概率较高的那种类型，即 利用贝叶斯公式，可以得到最小错误率贝叶斯判别规则的等价形式： 上述两个公式，也可以推广到多类，即j=1,2,...c。 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： 问该细胞属于正常细胞还是异常细胞？ 解：先计算后验概率： 最小风险贝叶斯分类： 最小错误率贝叶斯分类只考虑分类错误的概率最小，但是，每次分类错误带来的损失是不一样的，例如： 要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况： 第一类，判对(正常→正常) λ11 ； 第二