半朴素贝叶斯分类器.pdf

霍 轩 第七章：贝叶斯分类器 章节目录  贝叶斯决策论  极大似然估计  朴素贝叶斯分类器  半朴素贝叶斯分类器  贝叶斯网  EM算法 章节目录  贝叶斯决策论  极大似然估计  朴素贝叶斯分类器  半朴素贝叶斯分类器  贝叶斯网  EM算法 贝叶斯决策论 贝叶斯决策论（Bayesian decision theory）是在概率框架下实 施决策的基本方法。  在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。 贝叶斯决策论 贝叶斯决策论（Bayesian decision theory）是在概率框架下实 施决策的基本方法。  在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。 假设有 种可能的类别标记，即 ， 是将 一个真实标记为 的样本误分类为 所产生的损失。基于后验概 率 可获得将样本 分类为 所产生的期望损失 （expected loss），即在样本上的“条件风险”（conditional risk） 我们的任务是寻找一个判定准则 以最小化总体风险 贝叶斯决策论 显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化。 贝叶斯决策论 显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化。 这就产生了贝叶斯判定准则（Bayes decision rule）： 为最小化总 体风险，只需在每个样本上选择那个能使条件风险 最小的类 别标记，即  此时，被称为贝叶斯最优分类器(Bayes optimal classifier)，与之对应 的总体风险 称为贝叶斯风险 (Bayes risk)  反映了分类起所能达到的最好性能，即通过机器学习所能产 生的模型精度的理论上限。 贝叶斯决策论 具体来说，若目标是最小化分类错误率，则误判损失 可写为 贝叶斯决策论 具体来说，若目标是最小化分类错误率，则误判损失 可写为 此时条件风险 贝叶斯决策论 具体来说，若目标是最小化分类错误率，则误判损失 可写为 此时条件风险 于是，最小化分类错误率的贝叶斯最有分类器为  即对每个样本 ，选择能使后验概率 最大的类别标记。 贝叶斯决策论 不难看出，使用贝叶斯判定准则来最小化决策风险，首先要获得后验 概率 。 然而，在现实中通常难以直接获得。机器学习所要实现的是基于有限 的训练样本尽可能准确地估计出后验概率 。 主要有两种策略：  判别式模型（discriminative models）  给定 ，通过直接建模 , 来预测  决策树，BP神经网络，支持向量机  生成式模型（generative models）  先对联合概率分布 建模，再由此获得  生成式模型考虑 贝叶斯决策