一个人机互助的汉语语料库多级加工处理系统CCMP.PDF

一个人机互助的汉语语料库多级加工处理系统CCMP* 周强 俞士汶 北京大学计算语言学研究所 北京, 100871 ： 摘要 本文简要介绍了一个人机互助的汉语语料库多级加工处理系统的概况，包括它的设计思想和总体 结构框架；并给出了短语自动划分和标注处理子系统的算法和实验结果。最后提出了进一步增强、改进 系统的一些设想。 A man-machine mutually-dependent multistage processing system of Chinese language corpus Zhou Qiang, Yu Shiwen Institute of Computational Linguistics, Peking University Beijing, 100871 ABSTRACT : In this paper, we introduce the survey of a man-machine mutually-dependent multilevel processing system of Chinese language corpus, including its designing idea and overall framework. Then, we describe the main algorithms and experimental results of an important sub-systems: the phrase bracketing and tagging sub- system. At last, we also propose some tentative ideas for improving the system in future. 1. 引 言 对原始语料进行多级加工处理，是语料库语言学研究的基础。为此，国外在这方面花 费了大量的财力和物力，比较大的研究项目包括：英国 Lancaster 大学 UCREL 的 Lancaster Treebank 项目，从1986年到1994年的九年间，陆续开发了CLAWS1, CLAWS2, CLAWS3, CLAWS4等数个功能不同的词类自动标注工具([MI83],[GLS87], [LGB94]) ，并在语料库句 法分析和标注方面积累了许多有益的经验([LG91]) 。美国 Pennsayvania 大学的 Penn Treebank 项目([MSM93]) ，通过吸收和改造一些现有的语料处理工具，如：Church 的词类 标注工具([CW88])和 Hindle 的 Fidditch 句法分析器([HD89])，形成了一个完整的语料库加 工处理系统。另外，它的一大特点是开发了功能强大、操作简单的语料校对工具，大大提 高了人工校对的效率。 近几年来，对汉语语料库加工处理的研究也逐渐开展了起来，并在自动切词 ([LNY87],[XHS91]) 、词性标注([BXH92],[BXH92])和依存关系标注([ZH94], [LZH93])方面 取得了可喜的成果。但由于各方面条件的限制，还没能形成一个完整的汉语语料库多级加 工处理系统。 * 本课题受国家自然科学基金资助。发表于陈力为，袁琦主编，《计算语言学进展与应用》，清华大学出 版社，50-55 。 从1992年初开始, 北大计算语言学研究所开始进行汉语语料库的多级加工处理研究， 经过几年的努力，提出了一些新的处理方法，开发和积累了许多有用的处理工具，逐渐形 成了一个较为完整的汉语语料库多级加工处理系统。 本文将对这一系统的设计思想、总体结构和基本功能作一简要介绍。其中，第２节通 过一个典型的语料加工模型阐述了系统的基本设计思想；第３节给出了系统总体框架；第 4节则简要介绍了系统的一个主要子系统( 即短语自动划分_标注) 的基本算法，并给出了目 前的一些实验结果。最后，在结语