05基于STC中文文本聚类算法.pdfVIP

维普资讯 第35卷第5期 上海师范大学学报 (自然科学版) V01．35．No．5 2006年 10月 JournalofShanghaiNormalUniversity(NaturalSciences) 2006 ．Oct． 基于STC的中文文本聚类算法 王国强 ，郑海清2，牛军钰2 (1．上海市杨浦区业余大学，上海200092；2．复旦大学计算机科学与工程系，上海200433) 摘 要：提出了一种文档聚类方法，对用户的检索结果中类似的文档进行聚类，提供 目录结 构，辅助用户浏览检索结果．首先分析了现有的文本聚类方法，讨论了它们的优势和不足，然后 提出了基于后缀树的中文文本聚类算法，并详细描述了该算法的原理和构造使用过程，及在算 法实现的过程 中遇到的关键 问题及解决方案． 关键词：后缀树 ；文本聚类；文本处理 中图分类号：TP391 文献标识码 ：A 文章编号：1000-5137(2006)05-0021-06 0 引 言 通常的检索引擎将用户检索的结果表现为一个按照相关度排序的列表，这里的相关度指所检索的 文档与用户问题之间的相似度．这种排序的机制仅仅能够在用户可以将想要查询内容很好地定义出来 的情况下才能发挥 良好的功效，这个条件往往只适用于一些专业人员，在真实的情况下，70％的Web用 户会将其所查询的问题浓缩到一或两个单词中 1J，在这种条件下，检索引擎很难找到用户真正感兴趣 的内容，当用户对其所检索的领域内容不熟悉或他对检索引擎的操作模式是一个新手，或检索引擎处理 的数据量非常大时，这种状况还会进一步地恶化． 既然这种状况是不可避免的，所以检索引擎需要能够提供工具给用户，使用户能够处理检索出来的 大量文档，这些工具应该能够辅助用户快速地浏览和定位 自己想要的东西． 因此需要寻找一种方法能够解决以下几个问题：①使用户能够更加方便地找到想要寻找的内容；② 能够陕速地实现；③能够减少用户浓缩检索时带来的信息分块．例如当需要检索有关 “文本检索引擎” 的内容时，若用户仅仅键人了“文本检索”，能够将与 “引擎”相关的内容进行聚类，以使用户能够快速找 到自己想要的内容． 一 直以来，提高检索引擎的有效性都是文本处理领域的一个论题 J，为了提高检索结果的查询，许 多商用网站也提出了一些有效的方法，常用的方法有：允许用户按照日期或网站聚类，如：Excite，Infos— eek，HotbotandLycos；允许用户在检索结果中多次再检索，如：Infoseek，yahoo，andLycos；提供与用户检 索问题相似的一些检索问题，如：Infoseek，Altavista，Hotbot，Excite，等等．这些方法能够快速地得出结 果，但对用户浏览的辅助作用并不明显． 本文作者提出了一种文档聚类方法，对用户的检索结果中类似的文档进行聚类，提供 目录结构，辅 助用户浏览检索结果．文本聚类算法很早就被用来对全部语料进行预处理，从而提高检索引擎的性 能 ]．VanRijsbergen在 1979年提出了 “聚类假设”(clusterhypothesis) ，指出与检索结果相似的文档 收稿 日期：2006-05-20 作者简介：王国强(1960一)，男，上海市杨浦区业余大学讲师；郑海清 (1982一)，男，复旦大学计算机科学与工程系 硕士研究生 ；牛军钰(1973一)，女，复旦大学计算机科学与工程系副教授． 维普资讯 22 上海师范大学学报(自然科学版) 2006正 也可能与同样的检索问题相关，所以自动对相似文档进行聚类能够提高检索的查全率．因此我们提出了 一 种文档聚类的方法，通过 自动对相似文档进行聚类帮助用户快速定位及浏览检索结果． 本文作者首先分析了现有的文本聚类方法，讨论了它们的优势和不足，然后提出了基于后缀树的中 文文本聚类算法，并详细描述了该算法的原理和构造使用过程，及在算法实现的过程中遇到的关键问题 及解决方案． 1 传统的聚类算