模式识别导论实验指导书.pdf

目 录 前言 实验一 Bayes 分类器设计 实验二 k 近邻分类方法 实验三 基于K-L 变换的特征提取 实验四 C-means 聚类方法 前 言 《模式识别导论》是自动化专业本科生的一门学科基础选修课，通过课程的 理论学习，学生已经初步掌握了模式识别的基本理论和应用方法，了解到用计算 机识别事物的基本原理、方法、了解模式识别中最基本的概念，了解计算机分类 识别事物(监督学习)和计算机分析数据(非监督学习) 的概念及基本方法，了解人 工神经元网络的工作原理及其在模式识别中的应用，了解模糊数学在模式识别中 的应用。在此基础上，希望通过实验将理论知识应用于实践，使学生进一步掌握 一些解决实际问题的能力。 对应《模式识别导论》课程内容的安排，指导书列出四个实验题目，每个实 验预期需要三到四个课时完成。实验题目如下： 1. Bayes 分类器设计 2. k 近邻分类方法 3. 基于K-L 变换的特征提取 4. C-means 聚类方法 上述实验设计在MATLAB 实验环境下完成，考虑到学时有限，实验过程中 实验指导老师会提供一些基础函数子程序和部分算法例程供学生使用和参考，指 导书中也会给出一些关键代码。熟悉C 语言的同学，也可以采用C 语言完成上 述实验。 - 1 - 实验一 Bayes 分类器设计 一．实验目的 1. 加深对Bayes 分类器分类原理的理解和认知 2. 掌握Bayes 分类器的设计方法 3. 掌握分类器性能评价的方法 二．实验原理 模式识别是一种分类问题，即根据识别对象所呈现的观察值，将其分到某个 类别中去。统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分 类器的设计起指导作用。Bayes 决策理论则是统计模式识别中的一个基本方法。 机器实现自动分类有两大类方法：一种是模板匹配方法，而另一种就是对特征空 间划分为子空间(每类的势力范围) 的方法。Bayes 分类属于第二种方法的，它要 解决的核心问题是：样本属于每个可能类别的概率有多大。 利用Bayes 分类器实现分类，包括两个过程：概率密度估计和决策。因此， 程序设计也主要由两部分构成，首先是计算概率密度，之后是构造决策准则。 1．概率密度函数 概率密度估计准确的说是对后验证进行估计，前提条件是要预先知道先验概 率密度和类条件概率密度。其中，先验概率一般可以按照常识来确定，条件概率 则是基于对样本数据进行学习来获取。通常会将条件概率预设为正态分布的形 式，通过学习过程得到分布的两个参数：均值和方差（对于多维特征，则是均值 向量和协方差矩阵）。 以二分类问题为例，首先根据先验知识或先验假设来确定样本属于类别1 和类别2 的先验概率P () 和P( ) ，例如，男女比例平衡的假设下，可以认为 1 2 一个特定个体是男性的先验概率P () =50%。 1 然后是计算条件概率密度p (x | ) 。这时候通常会采用正态分布的假设。我 i 们采用更简单的做法来说明由数据得到条件概率的原理。例如，计算一个男生身 高为x ’的概率。假设已有一个班30 个男生的身高数据，其中有2 个男生的升高 - 2 - 刚好是x ’，则可以计算出p (x| ) =1/15。实际过程中采用的方法要复杂一些， i 但条件概率有样本集的分布特点来计算的思路是一致的。在正态分布假设下，要 得到样本的条件概率，就是要利用样本集的分布特点来计算正态分布的参数。单 随机变量的正态分布的概率密度函数如下：