正态分布情况下的Bayesian分类器和决策面 (Bayesian Classifier ....docVIP

正态分布情况下的Bayesian分类器与决策面 (Bayesian Classifier and Decision Surfaces for Normal Distributions) 若一元变量x在?j的类条件概率密度p(x/?j)服从正态分布N(?j, )，即 记为。 对二元变量x=(x1, x2)T，若?j的类均值向量为?j=(?j1, ?j2)T，类协方差阵为，记为。一般地，有?12=?21，即为对称阵，它的逆矩阵为 这时，x属于?j的类条件概率密度为 一般地，若x?Rm为m维随机变量，则x属于?j的类条件概率密度为 （2-36）或（2-37）成立的前提条件是，或者说可逆。 我们知道，当依据后验概率进行决策时，两个类别?j与?k的分界面由所决定，即 。结合（2-37），我们有 或 于是，超维决策面方程为 这里，分类阈值。 以下分几种情况对（2-40）进行讨论。 ?j与?k的类协方差阵相等且为对角阵，即，这时，，（2-40）化为 这是一个超维平面，由此产生的分类器被称为线性分类器。一般将（2-41）写成 这里，w=?k-?j常被称为权值， 被称为阈值。显然，超维平面?kj的法矢量为w=?k-?j，即?kj与?k-?j垂直。 特别地，当?j、?k两个类别的先验概率相等时，，且平面?kj经过点，如图2-3所示。 ?j与?k的类协方差阵相等，，且 ，（2-40）化为 ?j ?j ?k (?k+?j)/2 ?k-?j 0 图2-3 当P(?j)=P(?k)且?j=?k=?2I时的决策分界面?kj示意图 ? xi1 xi2 ? 这显然也是超维平面。 ?j与?k的类协方差阵不相等，即，（2-40）化为 这是一般二次超维曲面，可能是超维球、超维椭球、超维抛物面或超维双曲面。 注意之处： 正态分布情况下，的Bayes分类器与决策面存在的前提条件是， 类协方差阵均可逆。 同类别的样本仅分布在一个凸区域。 例2.1. 设?1与?2两个类别的样本分布在二维空间，先验概率P(?1)= P(?2)，类条件概率密度函数服从正态分布，两个类均值分别为?1=(0.0, 0.0)T，?2=(1.0, 0.0)T，类协方差阵分别为 试求决策方程，并画出其大致形状。 解：由于先验概率P(?1)=P(?2)，决策面方程由类条件概率密度函数所决定，即 或 今已知 代入上式并整理得决策面方程： 这是一个中心在(-1, 0)，水平半轴长1.5、垂直半轴长2.05的椭圆，如例图2.1所示。 -1.0-2.0 -1.0 -2.0 2.0 0 1.0 例图2.1 决策面的大致形状 设?1与?2两个类别的样本分布在二维空间，先验概率P(?1)=P(?2)，类条件概率密度函数服从正态分布，其类均值分别为?1=(0.0, 0.0)T，?2=(1.0, 0.0)T，类协方差阵分别为 试求基于最小错误概率的Bayes决策面方程，并画出其大致形状。 设一个2维两类别问题。其中，类条件概率密度函数服从正态分布，类均值向量分别为，，类协方差阵分别为，，先验概率，试求基于最小错误概率的Bayes决策面方程，并画出其大致形状。 设一个m维两类别问题。其中，类条件概率密度函数服从正态分布，均值向量分别为和，类协方差阵分别为和，先验概率，今欲使基于最小错误概率的Bayes决策面方程为一个超维球，试确定应满足的条件。