IPSMS 一个网络舆情监控系统的设计与实现.pdf

第２７卷第４期　　　 计算机应用与软件 Ｖｏｌ２７Ｎｏ．４ ２０１０年４月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ａｐｒ．２０１０ ＩＰＳＭＳ：一个网络舆情监控系统的设计与实现 丁　杰　徐俊刚 （中国科学院研究生院信息科学与工程学院　北京 １０００４９） 摘　要　　描述一个网络舆情监控系统ＩＰＳＭＳ（Ｉｎｔｅｒｎｅｔｐｕｂｌｉｃｓｅｎｔｉｍｅｎｔｍｏｎｉｔｏｒｉｎｇｓｙｓｔｅｍ）。该系统试图将网络新闻及论坛、ＢＢＳ上 的帖子依关键词搜索，并依“事件”聚类，让管理者通过阅读事件可以了解正在发生或已经发生的事件，并提供自动持续追踪事件发 展的功能，以协助管理者快速完整且全面地了解事件全貌。系统由网页抓取器、网页解析器及跟踪检测系统三部分组成。由于网络 舆情的特点是数据量巨大，为了提高效率，系统采用了网页清理技术，并且在话题跟踪过程中使用了ｋｄｔｒｅｅ方法。最后，对系统的 未来工作进行了展望。 关键词　　网络舆情　话题跟踪　话题检测　网页清理　ｋｄｔｒｅｅ ＩＰＳＭＳ：ＤＥＳＩＧＮＡＮＤＩＭＰＬＥＭＥＮＴＡＴＩＯＮＯＦＡＮＩＮＴＥＲＮＥＴＰＵＢＬＩＣ ＳＥＮＴＩＭＥＮＴＭＯＮＩＴＯＲＩＮＧＳＹＳＴＥＭ ＤｉｎｇＪｉｅ　ＸｕＪｕｎｇａｎｇ （ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＧｒａｄｕａｔｅＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００４９，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｉｎｔｈｉｓｐａｐｅｒ，ａｎＩＰＳＭＳ（Ｉｎｔｅｒｎｅｔｐｕｂｌｉｃｓｅｎｔｉｍｅｎｔｍｏｎｉｔｏｒｉｎｇｓｙｓｔｅｍ）ｉｓｄｅｐｉｃｔｅｄ．Ｔｈｉｓｓｙｓｔｅｍｍａｋｅｓａｔｔｅｍｐｔｏｎｓｅａｒｃｈｉｎｇｗｅｂ ｐａｇｅｓｗｉｔｈｃｅｒｔａｉｎｋｅｙｗｏｒｄｓｆｒｏｍＩｎｔｅｒｎｅｔｎｅｗｓ，ｐｏｓｔｓｏｎｆｏｒｕｍａｎｄＢＢＳ，ａｎｄｔｈｅｎｃｌｕｓｔｅｒｗｅｂｐａｇｅｓａｃｃｏｒｄｉｎｇｔｏｄｉｆｆｅｒｅｎｔ“ｅｖｅｎｔ”ｇｒｏｕｐｓ．Ｂｙ ｒｅａｄｉｎｇｔｈｅｅｖｅｎｔ，ｔｈｅｓｕｐｅｒｖｉｓｏｒｓｃｏｕｌｄｋｎｏｗｗｈａｔｉｓｅｘａｃｔｌｙｈａｐｐｅｎｉｎｇａｎｄｗｈａｔｈａｓｈａｐｐｅｎｅｄ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｔｈｅｓｙｓｔｅｍｐｒｏｖｉｄｅｓｔｈｅｆｕｎｃｔｉｏｎ ｏｆａｕｔｏｍａｔｉｃａｌｌｙａｎｄｐｅｒｓｉｓｔｅｎｔｌｙｔｒａｃｋｉｎｇｔｈｅｃｏｕｒｓｅｏｆｅｖｅｎｔｓｔｏａｓｓｉｓｔｔｈｅｓｕｐｅｒｖｉｓｏｒｓｒａｐｉｄｌｙ，ｃｏｍｐｌｅｔｅｌｙａｎｄｃｏｍｐｒｅｈｅｎｓｉｖｅｌｙａｐｐｒｅｈｅｎｄｉｎｇ ｔｈｅｃｏｎｆｉｇｕｒａｔｉｏｎｏｆａｎｅｖｅｎｔ．Ｔｈｉｓｓｙｓｔｅｍｉｓｃｏｍｐｏｓｅｄｏｆｗｅｂｃｒａｗｌｅｒ，ｈｔｍｌｐａｒｓｅｒａｎｄｄｅｔｅｃｔｉｏｎ＆ｔｒａｃｋｉｎｇｓｙｓｔｅｍ．Ｂｅｃａｕｓｅｏｆｔｈｅｅｘｉｓｔｅｎｃｅｏｆ ｎｕｍｅｒｏｕｓｄａｔａ，ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆＩｎｔｅｒｎｅｔｐｕｂｌｉｃｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓ，ｔｈｅｔｅｃｈｎｏｌｏｇｉｅｓｏｆｗｅｂｐａｇｅｃｌｅａｎｓｉｎｇａｎｄｋｄｔｒｅｅａｌ ｇｏｒｉｔｈｍｉｎｔｏｐｉｃｔｒａｃｋｉｎｇａｒｅａｄｏｐｔｅｄ．Ａｔｌａｓｔ，ｔｈｅｐｒｏｓｐｅｃｔｆｏｒｆｕｔｕｒｅｗｏｒｋｏｆｔｈｉｓｓｙｓｔｅｍｉｓｓｅｔｆｏｒｔｈ． Ｋｅｙｗｏｒｄｓ　　Ｉｎｔｅｒｎｅｔｐｕｂｌｉｃｓｅｎｔｉｍｅｎｔ　Ｔｏｐｉｃｔｒａｃｋｉｎｇ　Ｔｏｐｉｃｄｅｔｅｃｔｉｏｎ　Ｗｅｂｐａｇｅｃｌｅａｎｓｉｎｇ　ｋｄｔｒｅｅ 对狭小，展现形式单一，响应速度慢，容易错失情报间关联。 ０　引　言 为此，本文提出一种可以帮助管理者更便捷监视网络舆情