基于改进的互信息特征选择的文本分类 .pdfVIP

第 26 卷 计算机应用 Vol. 26 　 2006 年 12月 Computer App lications 　 Dec. 2006 文章编号 : 1001 - 9081 (2006) 12Z - 0172 - 02 基于改进的互信息特征选择的文本分类 伍建军 ,康耀红 (海南大学 信息科学技术学院 , 海南 海口 570228) (happ ier5281@ yahoo. com. cn) 摘 　要 :使用传统的互信息评估函数进行特征选择方法 ,得到的分类精度并不高。提出了一种考 虑词频作用的互信息评估函数 ,并采用了 K近邻算法进行文本分类测试 ,通过分析测试结果 ,使用改 进的互信息评估函数进行特征选择 ,提高了文本分类的精度。 关键词 :特征选择 ;互信息 ; K近邻法 ;文本分类 中图分类号: TP391　　文献标识码 : A 　　文本分类大致可以分为三个步骤 :文本的向量模型表示、 阈值 ,将互信息统计量高于该阈值的词条保留 ,构成用于分类 特征抽取、分类器训练。目前大多数使用向量空间模型对文 所使用的特征子集。然后根据特征子集中的特征项对训练文 本表示成为向量形式 ,而向量的属性则有可能涉及到中文中 本进行向量表示 , 同时将所有的训练文本向量进行训练得到 的所有词汇 ,其向量的维数是非常巨大的 , 同时考虑到一篇文 一定的分类规则 ,然后对需要分类的文本进行文本向量表示 , ( 章只不过包含极少数词语 比如 ,一篇文档只由几百个词语 使用一定的分类算法即可得到分类结果 ,最后对分类结果进 ) 组成 ,可知文档表示向量的稀疏性。这样高维的特征空间 行评估。 对文本分类的运算时间和空间复杂性是很不利的 , 因此在进 行文本分类之前需要对文本进行特征降维 , 以最大限度地提 高文本分类的精度 , 同时高效的特征降维能够节省更多的存 储空间、提高分类速度。 1　特征选择 特征选择指的是从特征总集中挑选出一部分有用的、对 图 1　文本分类系统总体设计 分类类别有贡献的词条组成特征子集 ,其一般的方法是使用 2. 2　分类算法 某种评估函数独立地对每个特征词打分 ,然后把特征词按照 目前应用到文本分类的分类算法很多,其中包括类中心 分值高低排队 ,取最高分的一些特征词作为文本特征子集 ,下 向量法、K近邻法、支持向量机法等。本实验使用 K近邻算 面就一种常用的特征选择方法 ———互信息 [ 1 ]作简单介绍。 法 [ 2 ]对文本进行分类 ,该算法的基本思路是 :在给定待分类 ( ) 互信息 Mutual Information,M I 本来是信息论中的一个 文本后 , ( 寻找在训练样本集中与待分类文本最相似 或距离 概念 ,用于表示信息之间的关系 ,而将这个概念引