网络内容监控技术.ppt

课程基本内容 介绍网络内容监控的相关理论与技术，包括内容监控的基本方法体系、信息采集、信息内容存储、不良模式表示与识别、文本话题检测与舆情分析技术、网络用户行为以及理论模型等。 内容安排 第1章网络内容监控技术现状(6学时) 介绍网络内容监控的需求与监测手段、国内在内容监管方面的现状与复杂性， 介绍网络内容监控的技术框架，介绍内容监控与网络舆情的若干主要产品及解决方案。 第2章面向网络内容监控的信息采集(6学时) 介绍网络爬虫Crawler的技术原理、关键技术；介绍网络数据包获取、分析与还原技术；信息提取技术。典型案例； 第3章网络监控信息的存储、管理与搜索(6学时) 介绍中文文本内容处理技术，主要包括分词技术、文本表示，存储、索引，以及常用的开源系统、实际系统等。 第4章不良内容检测与过滤技术(6学时) 介绍不良模式的表示方式、特征选择、匹配算法、分类算法、检测算法，不良内容检测的实际例子 第5章文本话题识别方法(6学时) 介绍文本特征提取、各种文本话题的表示模型，包括LSA, PLSA, LDA, AT，hLDA等，从文本中提取话题的算法，热点话题的识别方法，文本话题分类等。 第6章网络内容监控中的用户行为分析(6学时) 介绍网络用户兴趣建模方法，网络社区中意见领袖发现的若干方法，传播行为行为建模方法及应用等。 第7章内容监控的理论方面 (6学时) 介绍网络内容监控与引导的理论，包括网络生态的自组织过程，复杂适应性系统理论，网络舆情监管与引导的理论方法，介绍理论研究方法、仿真软件等 第8章综合报告 (6学时) 学生报告、讨论, 学生就课程中某一感兴趣的技术或理论要点，报告自己的理解、疑问、新想法思路。根据讨论结果，写成课程小论文，作为考核结果。 课程的基本要求 通过本课程的学习，要求学生掌握基本概念、模型、基本理论与相关技术。掌握通过网络爬虫方式获取监控信息的方法，掌握不良信息检测的相关理论及算法，掌握文 本话题的常见模型及话题检测方法，掌握可用于网络内容监控的几种典型理论模型。 要求学生能够全面、深入理解和熟练掌握所学内容，并能够用其分析、解决与网 络内容监控相关的问题。 教材与参考书 Lucene+Nutch搜索引擎开发，王学松，人民邮电出版社，2008 搜索引擎原理与实践，袁津生，蔡岳，北京邮电大学出版社，2008 网络社会生态学，张真继、张润彤，北京交通大学, 2008 Text mining : classification, clustering, and applications / Ashok Srivastava, Mehran Sahami. CRC, 2009 相关文献 作业和考试 期末采取开卷考试（提交论文） 课程成绩＝平时成绩40%+期末成绩60%。 平时成绩=课堂报告+课堂讨论+出勤情况。 提纲 内容监控的需求 内容监控的实施现状 内容监控的技术框架 内容监控的技术现状 内容监控的若干主要产品及解决方案 信息安全观念的发展历程 信息安全观念的发展经历过两个世界和两个范畴发展时期。 所谓两个世界是指网络物理世界和网络虚拟世界 所谓两个范畴是指信息的语法范畴和语义范畴。 第一个发展时期的安全观念称之为网络物理世界软硬件和信息的语法范畴的安全观念，也称之为传统的安全概念。 信息语法范畴安全观念主要是指数据安全，主要包括数据保密性、数据完整性和数据可用性等安全问题，主要采用数据编码，而不涉及信息语义或内容。网络物理世界安全观念是指系统、网络（软硬件）安全，主要包括访问控制、系统完整性和系统可用性安全问题。 第二发展时期的安全观念称之为网络虚拟世界行为和信息的语义范畴的内容安全观念，也称之为现代可信概念。 信息语义范畴安全观念主要是指信息的内容安全，包括内容可信性（真实性）、内容保密性、内容完整性和内容危害性等内容安全问题。网络虚拟世界行为安全主要包括行为可信性、行为有效性、行为保密性、行为完整性和行为连续性等行为安全问题。把传统的安全观念和现代可信观念合在一起，便构成现代信息化安全新概念。 在《软件行为学》著作中，有如下一段话： “过去，软件是人类直接拿在手里的工具，用它来直接进行操作；现在和将来，代理是人类在网络虚拟世界中使用的虚拟的奴隶、仆人、管家、卫士，甚至虚拟的公务员、职员、操作员、秘书、管理员、……，并且把它们按照期望的组织模式组织起来，以群体方式为人类服务。” 过去，人类直接拿着工具劳动；后来，人类进入了奴隶社会，有些人不劳动，靠奴隶劳动生活；在后来，人类进入了封建社会；再后来，人类进入了资本主义社会；将来，人类要进入社会主义和共产主义社会，……。在网络虚拟世界中，人类不满足直接拿着软件工具劳动，开始在网络中使用虚拟奴隶、虚拟工人、虚