DNS的网页搜索引擎.docVIP

一种基于DNS的分层式网页搜索引擎研究(? 王亮1+, 郭一平2 1(华中科技大学 控制系，湖北 武汉 430074) 2(华中科技大学 图书馆，湖北 武汉 430074) Study of a layered Web search engine based on DNS Wang Liang1+, Guo Yiping2 1(Department of Control Science and Control Engineer, Huazhong University of Science and Technology, WuHan, 430074 ，China) 2(Library of Huazhong University of Science and Technology, WuHan 430074, China) + Corresponding author:Phn:+86-27 Fax +86-27 E-mail: guoypm@, Abstract: Web search engine based on DNS, the standard proposed solution of IETF for public web search system, is introduced in this paper. Now no web search engine can cover more than 60 percent of all the pages on Internet. The update interval of most pages database is almost one month. This condition hasnt changed for many years. Converge and recency problems have become the bottleneck problem of current web search engine. To solve these problems, a new system, search engine based on DNS is proposed in this paper. This system adopts the hierarchical distributed architecture like DNS, which is different from any current commercial search engine. In theory, this system can cover all the web pages on Internet. Its update interval could even be one day. The original idea, detailed content and implementation of this system all are introduced in this paper. Keywords: Search engine; Domain name; Information retrieval; Distributed system; Web-based service; Information network 摘 要: 本文介绍了IETF构建公共网页搜索系统的标准提案“基于DNS的网页搜索引擎”。目前没有一个网页搜索引擎可以覆盖超过60%的互联网上全部网页，而大部分的网页数据库更新周期都在一个月左右。在更新率和覆盖率等关键性能上当前的搜索引擎多年来几乎没有任何明显的改进。为了解决搜索引擎遇到的这些瓶颈性问题，本文提出了一种全新的网页搜索引擎，“基于DNS的网页搜索引擎”。此系统采用了与现有商业化搜索系统完全不同的分层的分布式结构。从理论上讲，此系统可以覆盖全部的互联网网页，而且其网页数据库可以做到每天更新。此系统基本思路来源，详细内容和具体实施都将在本文中逐一介绍。 关键词: 搜索引擎;域名;信息检索;分布式系统;基于Web的服务;信息网络 中图法分类号: TP391；TP393.4　　　文献标识码: A 介绍 由于整个WWW是一个大规模动态的分布式系统，网页更新和增加非常频繁，搜索引擎很难跟踪WWW的每一处的变化，因此很难保证覆盖率和更新率的要求。根据1998年的统计数据[1]，几乎所有的网页搜索引擎的数据平均更新周期都达到一个月，而没有一个搜索引擎能够覆盖超过50%的互联网全部网页，而时至今日这些数据依然适用。 搜索引擎遇到的这些颈性问题很大程度上是由其集中式结构造成的，一般的搜索引擎都有一个或多个大