大连理工大学搜索引擎与文本挖掘课程设计说明 - 搭建小型搜索引擎.pptVIP

* * * * 中文分词 对于中文，分词的作用实际上是要找出一个个的索引单位 例子：李明天天都准时上班 索引单位 字：李/明/天/天/都/准/时/上/班 索引量太大，查全率百分百，但是查准率低； 比如，查“明天” 这句话也会出来 词：李明/天天/都/准时/上班 索引量大大降低，查准率较高，查全率不是百分百，而且还会受分词错误的影响； 比如，上面可能会切分成：李 明天 天都 准时 上班 二字串：李明/明天/天天/天都/都准/准时/时上/上班 去除停用词 停用词(Stop words)： 指那些出现频率高但是无重要意义；通常不会作为查询词出现的词，如“的”、“地”、“得”、“都”、“the”等等 消除：通常是通过查表的方式去除， 好处----大大减少索引量， 坏处----有些平时的停用词在某些上下文可能有意义 保留：索引空间很大 检索模型 什么叫检索？ 用户提交一个查询（Query），搜索引擎查找与该查询相关结果的过程。 检索模型： 布尔模型 向量空间模型 概率模型 统计语言模型 …… 布尔模型 简单的检索模型，建立在集合论和布尔代数的基础上。 遵循两条基本规则: 每个索引词在一篇文档中只有两种状态：出现或不出现，对应权值为 0或1。 查询是由三种布尔逻辑运算符 and, or, not 连接索引词组成的布尔表达式。 优点： 简单，易于实现，能够保证较高的查全率。 缺点： 只能精确判断文档是否出现某一查询词，但并没有给出每个词的重要程度，不能给出相关性排序 布尔模型 …… engine search 3 5 7 Search AND engine Search OR engine 3 7 1 3 4 5 7 9 …… …… 1 3 4 7 9 向量空间模型 查询和文档都转化成标引项(Term)及其权重组成的向量表示 康奈尔大学 Salton 1970年代提出并倡导，原型系统SMART 例如： 文档1：(2006,1,世界杯,3,德国,1,举行,1)， 文档2：(2002,1世界杯,2,韩国,1,日本,1) 查询：(2006,1,世界杯,2) 查询和文档进行向量的相似度计算：夹角余弦或者内积 文档1：1*1+3*2=7 文档2：2*2=4 优点：简洁直观，效果好，可以应用到很多其他领域。 缺点：理论上不够完善，标引项之间的独立性假设与实际不符 向量空间模型 权重影响因子： TF（Term Frequency）：Term的频度，TF越高权重越高 DF（Document Frequency）：Term的文档频度，DF越高区分度越低，因此权重也越低 IDF（Inverse DF）：逆文档频率 文档的长度：长度归一化(Length Normalization) 查询扩展 对用户的查询进行扩充：比如用户输入“计算机”，我们扩充一个词“电脑” 同义词扩展： 同义词词典 通过统计构造的同义词词典 相关词扩展： 相关词：“2006世界杯” 与“德国” 基于全局分析的查询扩展：对文档集合进行分析得到某种相关词典 基于局部上下文的查询扩展 基于概念的查询扩展 查询重构：对用户的初始查询进行修改(可以是加词、减词，或者对于向量模型表示的初始查询进行权重的修改等等)，是比查询扩展更泛的一个概念 Lucene介绍 Lucene简介 完整、高效、易用、易扩展的开源全文检索工具包 性质：Apache License 作者：Doug Cutting 网址：/ 版本：Lucene 4.10 平台：跨平台 支持：Apache Jakarta项目 Lucene的其他语言版本 Lucene功能 结果排序－最好结果优先 强大的查询表达式处理功能－短语、通配符、模糊查询等 分字段检索 指定日期范围检索 根据字段排序 支持多索引检索与结果合并 支持更新与检索同时进行 Lucene系统的组织结构 Lucene的索引文件格式 segments：存储索引的各个segment的信息 .del：已删除文档信息 .fnm：域信息 (域名域标志等) .fdt：域数据，存储文档的各种属性数据，例如文档路径，文档长度（按文档标号顺序组织） .fdx：文档域数据指针，每文档一个 .tis：索引词（term）信息，即词典 .tii：存储.tis中每IndexInternal个Term，这个文件装入内存以加快检索速度(二级索引) .frq：存放索引词（term）的词频信息 .prx ：索引词（term）的位置信息 其它文件 简单示例－索引 void IndexFiles(String INDEX_DIR, String docDir) { StandardAnalyzer myAnalyzer = new StandardAnalyzer();//分词器 In