模式特征抽取研究进展(2010年).pdf

模式特征抽取研究进展 杨静宇,金忠,杨健 南京理工大学计算机科学与技术学院,210094,南京 摘要： 特征抽取不但从原始模式信息中提取出最有利于模式分类的特征，而且极大 地降低模式样本的维数，是模式识别研究领域的重要研究内容。 本文首先简要 回顾模式特征抽取的经典方法，然后介绍近年来在主分量分析、非线性鉴别分析、 流形学习、基于稀疏表示的图像特征抽取等方面的理论和方法研究的主要进展， 最后分析了模式特征抽取研究趋势。 1．引言 模式识别是一个与人类的认知、视觉和听觉过程紧密相连的问题，其核心研 究问题之一就是特征抽取（Feature Extraction)问题。人脑在每天感知外界事 物的过程中，首先面临着一个特征抽取的问题， 即利用大约3万听觉神经纤维 和100万视觉神经纤维，从高维的感官输入信息（如视频图像、音频信号等）中 抽取便于管理的很小数量的感知关联特征来完成对事物的认识。 从模式样本的原始信息中提炼出最有利于模式分类的有效信息这一过程通 常称为模式特征抽取。因此，特征抽取的过程本质上可以看成在一定准则下的优 化问题。同时，在特征抽取的过程中，也极大地降低了模式的维数。因此，特征 抽取不但从原始模式信息中得出了最有利于模式分类的特征，而且这些特征与原 始样本信息相比，极大地降低了模式样本的维数，因此特征抽取也是一种维数削 减的有效方法，这一点对高维模式样本（例如图像）识别而言十分重要。模式特 征抽取问题可以定义为：在高维的观察样本空间中寻找其隐藏的有意义的低维数 据结构，并藉此分析和探索事物的内在规律。在众多学科领域的研究中，科学工 作者们经常需要处理海量的高维数据，如全球气候模式、恒星光谱、人类基因分 布、遥感及视频图像等，因此，模式特征抽取问题研究具有广泛的应用前景。 国内外关于模式特征抽取理论与方法研究如火如荼。总体来说，特征抽取技 术可分为两大类：线性特征抽取和非线性特征抽取。目前，线性特征抽取算法研 究的侧重点在于小样本问题，该问题和样本数据的高维性是紧密相关的，因此在 特征抽取研究中是不可回避的。对于非线性特征抽取，近年来无论理论研究还是 应用开发都取得了长足的发展，有两个较大的分支值得注意。一是基于 kernel 的特征抽取技术[1-3]，以支持向量机、kernel 主分量分析和 kernel 鉴别分析 为代表；二是以流形学习（manifold learning）为主导的维数约减理论和技术 [4]，2000年SCIENCE(科学)上的两篇文章开创了流形学习的先河[5,6]。有证据 表明，基于流形学习的维数约减方法与人本身的认知机理具有某种内在的关联 性，故该方法有着潜在的重要的研究价值。 图像是一种包含大量信息的媒体，图像信息的采集、处理、分析、检索和识 别是当前信息科学与技术领域非常重要的研究课题。图像自动处理与分析是模式 识别与计算机视觉学科研究的主要内容，图像特征抽取理论研究丰富与完善了模 式特征抽取理论体系。近年来，有关生理学的研究成果表明：人类的视觉系统具 有对图像的稀疏表示特性[7]，基于稀疏表示的压缩感知理论已引起信息论及相 关领域极大的兴趣和广泛关注[8-10]，为模式特征抽取研究领域注入了新鲜的血 液与发展动力。 本文介绍近年来在主分量分析、非线性鉴别分析、流形学习、基于稀疏表示 的图像特征抽取等方面的理论和方法研究的主要进展，并分析了发展趋势。 2. 主分量分析 2.1 K-L 变换 在统计模式识别理论中，主分量分析(Principal Component Analysis, PCA, 或称K-L变换)是最为经典的特征抽取方法[11-12]。设x 为m维随机变量，主分 量分析可以定义为寻找d 个相互正交的m维单位向量 ,, ,  ，使得如下均方 1 2 d 误差最小：