自然语言理解与智能检索.pdfVIP

自然语言理解与智能检索

1引言(Introduction)

随着计算机技术的迅速发展,尤其是Internet的出现和逐渐普及,人们

对有用信息的渴望愈来愈强烈.而在浩如烟海的电子信息中搜索自己需要的

有用信息其困难程度可想而知.解决这一问题需要对信息进行有效的智能整

合,这就涉及到自然语言理解技术.从60年代起,计算机的自然语言理解问

题就一直是计算机科学家和语言学家面对的一个巨大挑战.经过长期的研究,

人们逐渐认识到目前全面解决计算机的自然语言理解尚有非常大的难度,但

在个别的应用系统中形成突破却具有较大的可能性.例如,基于自然语言理解

的智能检索和信息获取系统在我们的实验中取得了较好的效果.下面就论述

基于自然语言理解的智能检索和信息获取问题.

2自然语言理解的两种策略(Twostrategiesfornaturallanguage

understanding)

自然语言理解就是研究如何能让计算机理解并生成人们日常所使用的语

言,目的在于建立起一种人与机器之间的密切而友好的关系,使之能进行高

度的信息传递与认知活动.建立一个自然语言理解系统,可以是一个纯粹的实

验性模型,也可以是一个以直接应用为目的的模型1.

迄今为止的自然语言理解模型大都以直接应用为目标,或应用于机器翻

译,或应用于自动应答,或应用于MIS专家系统,等等.尽管这些模型所采

用的语法框架、算法等都各有特点,但在解决自然语言理解的基本策略上却是

相当一致的,即都是针对某一具体的应用领域,充分利用具体领域的各种可理

解因素,将其形式化,然后建成的.这种具体领域不仅规定了可用于推理的背

景知识,也规定了可能运用的语汇子集和短语、句型子集.这样的自然语言理

解策略的优点是:1)完全不必对理解所涉及的各个层面(词汇的、句法的、

语义的、语用的、语境的)作全面的刻画;2)围绕具体领域,可将各个层面

的知识作直接的综合.其缺点是不具有普遍性、通用性,且往往过分受限,不

灵活.

跟绝大多数自然语言理解模型不同,自动识别模型并不针对某一具体的应

用领域,而是面向人工智能所期望解决的一般的自然语言理解问题.所谓一般

的自然语言理解问题,就是让计算机具备理解人的一般话语的能力,也就是说

要在计算机上建立起一个分析或生成一般话语所必备的知识库2.这种策略

首先把语言理解的各种因素分解开来,逐一加以研究.例如,在各种理解因素

中先划出语言因素来.语言因素中又先划出句法因素来.在句法因素的研究

中,又先分别研究各种句法结构的构成法则,等等.这种策略的优点是,它有

可能导致最终建成一个可供一切可能的言语分析或生成所需的自然语言理解

知识库.智能检索和信息获取就应采用这一策略,因为它们所处理的信息是广

泛的、普遍的,这要求智能检索和信息获取必须是智能的.

3智能检索(Intelligentsearching)

检索是文献量增长到一定程度后的必然要求,目的在于跟踪相关文献同时

尽量减少阅读的负担.检索可抽象成一个过滤器模型,在过滤器内部完成了标

注和匹配两个工作.输入过滤器的是原始文献记录,一个控制端子反应用户的

检索要求,而输出的则是从原始记录中筛选出来的满足检索要求的记录.智

能检索由抽词检索与全文检索综合发展而成,它是对检索词有较高的判断能

力、理解能力和处理能力的人工智能型的多媒体捡索系统,也就是类似于基于

计算语言学的全文检索3.建立这种检索最理想的情况是系统能对文本资

料进行语言学意义上的理解,当用户查询时,对查询语句也进行理解,然后

再对文本进行语义上的概念匹配4.

3.1中文智能检索涉及的语言处理技术

根据汉语的特点,大体上说来,中文智能检索需要使用如下几个方面的自

然语言处理技术:①词切分和词性标注.②句法及语义分析.这包括句法成

分的识别与标注、关键词提取、搜索