KL变换特征提取KL变换特征提取.ppt

选特征向量1作为一维坐标轴 压缩分析： 使用一维坐标轴u1后，完成了压缩。但是由均值向量的位置可知，仍然包含有u2坐标轴信息，因此从数据压缩的原理上，压缩后的信息仍然有坐标的相关性（即使略去u2坐标），不是最优的。 二、类均值向量的最优K-L压缩 上面讨论的K-L压缩不是最优压缩。寻找一种解除坐标之间的相关性的方法，又称两步变换，即最优压缩变换。第一步实现坐标轴之间耦合的解除，第二步实现正交归一变换。 例9.2 前例，求保持类平均向量中全部分类 信息条件下压缩为一维特征空间的坐标系。 二次变换的最优压缩对数据的作用如图所示 三、由类中心向量获取判别信息 1、类中心向量包含的信息 两类问题：类均值相等，但是类方差不等， 其分类信息如图所示。 类条件方差的离散度 可以衡量该分量对于分类的显著性 （3）由熵准则J(xj)表征xj 的显著性 （4）熵值排序，根据分量的显著性确定压缩 坐标 取前d个坐标轴作为压缩坐标系统。 说明： 四、用于非监督模式识别问题中的特征提取 例题9.4 五、K-L变换用于图象压缩 已知2维像素数据 作Walsh变换 Walsh变换矩阵为 由2维Walsh变换有 计算Y的协方差矩阵 Ry中大于1的数据只有4个 取Y的近似 原来传输16个数据， 现经过压缩，仅传 输4个数据即可。 作Walsh反变换 均方误差最小。 用于可视电话数据的传输可将数据压缩为：2bit/pixel 附录：Walsh变换： 哈特马函数 生成： h2=[1 1;1 -1]; h4=[h2 h2;h2 -h2]; h8=[h4 h4;h4 -h4]; Walsh变换： Y=HX 六、K-L变换应用于人脸图象的识别 1、图象获得 X128?128，128?128个像素点。 2、图象归一化：旋转，比例，缩放，裁剪，灰度，光照等变换，可以参考图象处理有关书籍。 3、K-L变换：以样本集合的总体离散度矩阵作为KL变换产生矩阵，M为样本数 总体离散度矩阵 令矩阵 计算矩阵R的特征值?i与正交归一化特征向量vi， 排序 对角特征矩阵 变换矩阵 4、构造“特征脸” 由于 “特征脸” “特征脸”是降维（r维）重构图象 5、识别 ，设定阈值 ? ，实现人脸的识别 使用信噪比评价指标 讨论 一般说来，实际中的一个模式识别问题往往包含以下5个阶段： 问题的提出和定义； 数据获取和预处理； 特征提取和选择； 分类器设计； 分类及结果解释。 1.问题的提出和定义 即把一个实际的问题抽象成一个模式识别问题。 对具体问题所在的领域的充分了解和对模式识别技术特点的掌握是十分必要的。 在很多情况下，一个复杂问题本身可能就是一个模式识别问题，往往需要对问题进行必要的分解或简化。 提出一个好问题往往是解决问题的一半，把问题定义明确对于设计一个模式识别系统来说是十分必要的，这一点在实际中往往容易被忽略。 2.数据获取和预处理 对于已确定的问题（分类目标），研究获得什么样的数据才能有效地实现模式识别任务是十分重要的。只有所提取的数据确实与分类目标间存在一定的依存关系（函数关系），这个模式识别问题才能真正成立。 问题领域的知识应该发挥重要的作用。 所获取的数据应该具有什么性质和特点才能更好地发挥模式识别技术的优势，这也许是模式识别理论中应该研究的问题之一。 预处理：使数据质量更好，样本集的预处理。 3.特征提取和选择 在已经得到数据样本之后如何用数学的办法对数据进行必要的变换和选择，使所得的特征更易于分类。 4.分类器设计 监督学习方法 非监督学习方法 5.分类及结果解释 对于监督模式识别情况，用设计好的分类器对新的或者类别标号未知的样本进行分类； 对于非监督模式识别情况，则需要对得到的分类（聚类）进行解释，赋予各类一定的专业含义，同时也判断所得分类是否合乎问题需要； 给出为什么把某个未知样本或新样本划分为某一类的解释，以利于人利用这些分类结果进行后续的决策。 第9章 基于K-L变换特征提取 线性变换法特征提取 9.1 傅立叶级数展开式 周期随机过程的傅立叶级数（三角级数） 平稳随机过程： 自相关函数等于其数学期望的2阶原点矩。 公式说明： 9.2 K-L展开 非周期随机过程： 正弦函数族不能使其傅立叶系数不相关，但是 可以寻找一个新的正交函数族?n(t)，使得其变 换系数互不相关 。 K-L变换定义 假设一个非周期随机过程，在区间[a, b]展开式为 函数族?n(t)是正交的 变换系数互不相关 称式 为x(t)的 K-L 展开，其逆过程为K-L变换。 其中?n是为使