搜索引擎关键组件.pptxVIP

搜索引擎关键组件 基于Lucene搜索引擎三个关键组件 获取数据 建立索引 进行查询 Nutch爬虫 Lecene是一个提供全文文本搜索的函数库，提供了众多API； Nutch爬虫是建立在Lucene核心上的Web搜索的具体实现，适合在搜索引擎中起抓取资源的作用。 Nutch爬虫根据网页库webDB生成抓取列表Fetchlist，然后再在列表所包含的url中抓取内容。 Nutch工作流程 建立初始URL集合 1）注入初始url操作(inject) 2）生成分段操作（ generate segment） 3）抓取操作（fetch） 4）解析操作（parse） 5）更新url数据库（updateDB） invertlinks操作分析 索引过程 搜索程序分析 Lucene索引机制 Lucene 提供了五个基础的类，他们分别是 Document, Field, IndexWriter, Analyzer, Directory。 Lucene基本概念 解释 Document 用来描述文档，相当于数据库中的记录 Field 描述Document属性的字段，一个document可以包含多个字段 Analyzer 对文档内容进行分词处理，分词后给IndexWriter建立索引 IndexWriter 把 Document 对象加入到索引中 Directory Lucene 的索引的存储的位置路径 Lucene索引机制 Lucene建立索引，有三个主要步骤： 提取文本：Lucene只能对纯文本建立索引，任何需要建立索引的资料，都要进行过滤提取纯文本。对于XML和HTML，要过滤掉所有的tag。 文本分析：要建立索引，首先要将文本分解成一个个片段（分词），一般是单词，也可能是词组，句子等。分割好的文本，可能还要进行归一化处理，以确保最大程度上的检索能力。 将索引写入磁盘：Lucene将分析好的文本使用一种叫做倒排索引（inverted index）的数据结构写入到磁盘中。 Lucene建立索引流程图 Lucene索引机制 Elastic Search ElasticSearch是底层基于Apache Lucene，是一个接近实时（NRT）的搜索平台。即从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。ES支持通过HTTP使用JSON进行数据索引。 ES集成了很多客户端的支持，比如PHP，Ruby，Perl，Python，Scala可用于发现自动节点，所有的分片和副本可以移动到任何节点的ElasticSearch 集群中。 索引可以分发到指定的分片（Shards）和节点(Nodes)。 Elastic Search部署结构图。底层支持本地文件系统或者Hadoop 文件系统等文件系统，通过Elasticsearch 提供的API，可以获取集群的状态信息，节点负载信息、建立客户端与集群交互，实现索引的CRUD(Create、Retrieve、Update、Delete)操作。 Elastic Search中的名词概念 Elastic Search概念 解释 Mapping 索引内容相关的mapping 信息（类似于关系型数据库的表结构） Replicas 索引副本，ES可以设置多个索引的副本 Shards 索引分片，ES可以把一个完整的索引分成多个分片，分布到不同的节点上 Cluster 集群中有多个节点，其中有一个为主节点 Node 节点是集群中的一个服务器，作为集群的一部分存储数据，参与集群的索引和搜索功能。 Recovery 数据重新分布，在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复 River 数据源，也是其它存储方式（如数据库）同步数据到ES的一个方法 Gateway ES索引的持久化存储方式，默认把索引存放到内存中，当内存满了时再持久化到硬盘。 Discovery.zen ES的自动发现节点机制 Transport ES内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式） Elastic Search搜索流程 创建索引内容相关的mapping 信息（类似于关系型数据库的表结构）。 创建与集群交互的客户端，构建JSON串。 指定索引文档要索引的目标索引库（index），索引类型（type）和文档ID。 通过tcp 协议（rest 的话就是通过http 协议）发送请求到Elasticsearch 集群任意节点，接收请求的节点把请求转接到主节点。 主节点接收到请求后，开始进行分片操作，先读取集群状态，把目标索引及其分片信息提取出来，根据索引数据的id、类型以及索引分片信息进行哈希取模，确定把该条数据分配到哪个分片。 找