基于sudol的web信息提取模型.docxVIP

基于sudol的web信息提取模型

1web信息提取系统的应用本研究项目

随着网络及其技术的快速发展，网络已成为现在最大的信息数据库。然而，web网站通常包含许多关于用户不感兴趣的信息，如广告链接和图像。它们分布在网站周围，甚至围绕主题旁边。文档的主题非常模糊，用户无法快速检测所需的信息。对于使用较低级设备，尤其是使用pda和手机的用户来说，这一问题最为突出。您需要花很长时间才能使用滚动条并跳转大量与图像和文字无关的组件。研究表明，提取主题信息可以减少一半的浏览时间，提高用户获取信息的速度，提高web的可用性。web信息提取已成为信息领域的研究热点之一。

Web信息通常存在于半结构化的HTML文档中,为信息提取带来很大困难.尽管在Web信息提取领域已经有大量的研究工作,但是很少有自动和通用的方法.本文提出了一种新的Web信息提取方法,基于DOM规范,针对HTML缺乏语义描述的不足,提出STU树模型,并将STU树模型与DOM树模型相结合,提出具有语义信息的STU-DOM树模型,利用HTML与DOM树的映射关系,将HTML转换为STU-DOM树,对其进行基于结构的过滤和基于语义的剪枝,最后生成只含有主题内容的HTML文档.

这种方法能够迅速自动地从网页中提取出主题信息,不依赖于网页结构,对于异构信息源具有很高的通用性,而且不改变源网页的结构和内容,可靠性和可扩展性高.因此,该方法具有可观的应用价值,它既适合移动用户的即时访问需求,又可应用于信息检索领域的自动文摘和自动分类系统.这一方法已经在iNeedle系统中实现.iNeedle系统是基于COMMIX(content-orientedmassiveinformationintegrationbasedonXML,国家“九七三”重点基础研究发展规划项目中“面向内容的海量信息集成、分析处理与服务”课题组开发的原型系统)开发的互联网信息检索系统,已经实际应用于食品药品信息检索.通过在信息预处理阶段对HTML文档进行主题内容提取,显著提高了检索效率和查准率.

2针对内容的web信息提取

在Web信息提取领域,已经有大量的研究工作,包括HTML结构分析方法(如XWRAP和Lixto)、基于自然语言处理的方法(如SRV和WHISK)、机器学习和Ontology等.但是这些方法都不能完全自动地提取信息,通常是面向特定领域、特定网站或者针对特定格式.由于用户访问Internet有很强的随机性,对响应时间有较高要求,当访问新领域或网页结构时,这些系统不能有效工作.目前能够较好地解决这一问题的是面向内容的信息提取方法,它们的目标不是提取细粒度的数据而是提取主题内容或兴趣区域,本文将介绍这一领域的研究工作,并提出一种改进模型和提取方法.

Finn等人将HTML文档看做字符和标签组成的序列,在字符集中的区域提取文字.这种方法仅适合主题文字集中的网页,如果段落间有表格或链接等标签丰富的结构,就不能有效处理.如图1的网页中,主题文字分布于6个区域(④～⑨),假设文档中有N个标签,该算法的时间复杂度为O(N6),时间代价很高.

Kaasinen等人提出Desk-Card模型,将网页(Desk)分为若干Card,每次显示一个Card,减少了页面大小,但是没有提取出信息,用户需要阅读多个Card才能确定主题.

Buyukkokten等人提出了STU(semantictextualunit)模型,STU对应网页中的块(block),将网页分割为平行的STU(如图1①～③,⑩).Desk-Card模型和STU模型都采用了分块思想,后者减少了定位时间,但是它们都改变了源网页的结构和内容,而且没有提取出主题信息,保留了无关的文字和链接.

Gupta等人的方法是从网页中删除无关部分,维持了源网页的结构和内容,但在删除链接时较少考虑上下文的语义,极易删除正文中的链接列表(如图1⑤,⑦),使提取结果不完整.

本文方法基于DOM规范,扩展了STU模型,提出STU-DOM树模型,在删除无关结点的同时有效保留了与主题相关的文字和链接,并且不改变源网页的结构和内容,是一种可靠、自动和通用的面向内容的Web信息提取方法.

3提取信息的算法

3.1语义解析算法

定义1.DOM(documentobjectmodel)即文档对象模型,是W3C制定的标准接口规范.HTML文档被解析后,转化为DOM树,树的每个结点是一个对象.DOM模型不仅描述了文档的结构,还定义了结点对象的行为,利用对象的方法和属性,可以方便地访问、修改、添加和删除DOM树的结点和内容.

定义2.将HTML文档转化DOM树的过程称为解析(parse).解析后,HTML文档的内容包含在树结点中,对HTML文档的处理可以通过对DOM树的操作实