一种关键字过滤系统下的DFA分词算法设计与优化.pdf

第29卷第1期 计算机应用与软件 V0I．29No．1 2012年 1月 ComputerApplicationsandSoftware Jan．2012 一 种关键字过滤系统下的DFA分词算法设计与优化 刘 利 俊 (杭州科技职业技术学院电教网络 中心 浙江 杭州 310012) 摘 要 lnternet的迅猛发展和电子商务应用的 日益普及，越来越多的网络应用程序需要高效地对违禁用语、禁限售商品等关键 字进行高效过滤和处理。分析关键字过滤的基本啄理，对现有关键字过滤算法进行 了优化和功能增强，设计并实现了一个实时环境 下互联 网关键字过滤系统。 关键词 中文分词 DFA 双数组 中图分类号 TP301 文献标识码 A A DFA PARTICIPLE ALGORITHM DESIGN AND OPTIM IZATIoN IN A KEYW oRD FILTRATIoN SYSTEM LiuLiiun (Center0厂ElectrfiiedEducationandNetwork，HangzhouAcademyofScientcProfessionalTechnology，Hangzhou310012，Zhejiang，China) Abstract WiththerapiddevelopmentofInternetandpopularizationofE—business，moreandmorenetworkapplicationsneedtoefficiently filterandhandlesuchkeywordsasforbiddenlanguagesandforbidden／restrictedcommoditynames．Thepaperanalyzesthebasicprinciplesof keywordfiltration，optimizestheexistingkeywordsfiltrationalgorithm andenhancesitsfunction，anddesignsandrealizesarealtimeInternet keywordfiltrationsystem． Keywords Chineseparticiple DFA Doublearray 占用情况。 0 引 言 1．2 文档预处理 由于文档中不仅包含文本信息，还包括了格式等信息，在扫 Internet的迅猛发展对企业发展和个人生活都产生了深刻 描的过程中，需要对文档本身进行可读信息部分的提取。互联 影响，互联网在给我们带来海量有用信息的同时也带来了大量 网信息基本以HTMI文档为主，预处理的主要工作是：HTMI 的不良信息，如何对互联网信息进行有效的内容监测是亟待解 文档的标签去除，繁体字向简体字转化，特殊符号剔除，同音字 决的问题。目前 ，通常采用关键字过滤系统对这些不 良信息进 处理，全角字符向半角字符转化等。 行甄别和处理，这些系统的实施对不 良信息的过滤起到了一定 1．3 文档扫描 的效果，但同时也还存在一些不足之处：不良信息的传播者经常 文档分为历史文档和实时显示文档，对于文本的扫描非常 通过改变关键字的形式来躲过检查，关键字过滤算法在实时环 耗费CPU资源。因为文档的大小是动态的，我们可能对 1k或 境下还不够高效等。通过对现有的关键