一种改进的特征提取模型及其算法.pdfVIP

第23卷第4期 德 州 学院 学报 Vo1．23，NO．4 2007年8月 Journal of Dezhou Unive~ity Aug．，2007 一 种改进的特征提取模型及其算法 闫立梅，焦德杰 (德州学院数学系，山东德州 253023) 摘 要：在已有支持向量机的特征提取模型的基础上，通过引入一个向量函数，使原有的模型得到进一步改 进，从而大大降低了问题的规模．文中给出了一种模拟退火算法求解得到的模型．该算法在传统的模拟退火算法的 基础上增加了局部极小化和 Markov链长度调整过程． 关键词：支持向量机；向量函数；特征提取；模拟退火算法 中图分类号：O221．2 文献标识码：A 文章编号：1004—9444(2007)04—0015—02 特征提取(Feature Selection)是用尽量少的特 式 征来描述事物的本质，它是数据挖掘重要的步骤之 A w Pl r，A—w： 2r (1) 一 ， 所提取特征的优劣对学习效果有直接的影响．对 由于线性规划不能解决严格不等式约束问题， 于特征提取问题可以使用统计、机器学习和数学规 可以将其转化为下述形式 划等方法 ．文中使用后面两种方法． A W三三三P1 r+el 为了方便讨论，使用a 和a一表示尺 空间中的 A—W P2 r--P2目D(Aw—er) P (2) 两个有限点集；用矩阵A 表示 a ，矩阵A～表示 如果数据线性不可分，就要通过违规总量和最 a一 ， 矩阵A表示a Ua一，其中A 、A一和A的每一 小的方法来保证两类数据尽量分离．这就产生了下 个行向量都是一个训练样本；D是一个对角矩阵，如 面的线性规划公式 果A的第i行属于a ，则D 一1，否则D 一一1；P ， min eTy e ，e都表示分量为 1的列向量，只是行数有所不同． s．t．D(AW—er)+ye (3) 特别说明A∈尺 ，其中m是训练样本的个数，”是 0 训练样本的维数． 这是支持向量机(SVM)的无参数鲁棒表示的 模型_2]．求解该模型将极大程度地满足(2)式，然而， 1 已有的特征提取方法 它没有解决如何减少无关特征的问题，为了得到尽 量少的特征，引入分步向量函数 ，定义为当 一 特征选择讨论的是数据二元分类问题：通过使 0时( ) 一0，否则( ) 一1，其中i一0，1，…，，那 用”维空间中尽量少的维数对a 和a一两个集合进 么对eTy和ll W ll 进行加权，就得到下面带有线 行分类．采取的方法是在 尺”空间中找一个分类超 性约束条件的数学规划 平面 min(1--A)eTy+ ll W ll l P一{ l ∈R ，w 一r} 5．t．D(Aw—er)+v三三=P (4) 其中w是该平面的法向