移动互联网业务数据平台与分析监测系统.docVIP

移动互联网业务数据帄台与

分析监测系统

主要完成单位:中国联合网络通信有限公司

主要完成人:张智江黄文良王志军郭晓科杨旭东陈淑平王建海罗云彬王蓉耿向东

DOI103772jissn10095659201404021国家信息安全基础设施,因此迫切需要立足国内进行自:./..-...

主创新。项目团队在国家863计划、“新一代宽带无线移

1立项背景动通信网”国家科技重大专项的支持下,从2005年开始

基础性研究,历经四年技术攻关,取得重大突破。

移动互联网作为信息社会的新一代基础设施,已经

成为推动经济发展和社

会进步的新引擎,是技

术发展极快、市场潜力

极大、前景极为广阔的

新兴产业。移动互联网

在极大改变人们工作和

生活模式的同时,由于

其海量数据、高实时性

和复杂的数据结构,也

带来巨大技术挑战,如

不良信息难以实时监测

和准确溯源,手机上网

详单提供成为世界性难

题,透明消费难以实现

等。

应对这些挑战,项目构建了全国集中的移动互联网

业务数据帄台与分析监测系统,解决了移动互联网大数据

帄台所面临的数据量大、实时性高和结构复杂等几大难题,

实现上网记录查询、IP地址溯源、基站辅助规划与运行项目主要创新点包括以下四方面:监测、智能身份识别与鉴权、数据挖掘与用户行为分析等:1:移动互联网不良信息实时跟踪与精确溯源。我五大应用,集海量数据存储、处理及提供服务于一体。国信息安全问题日益严重,网络谣言等不良信息通过移

动互联网得到更快速传播,影响群众生活,甚至威胁社

会稳定,对不良信息实时监测和准确溯源成为移动互联

网信息安全问题的核心。针对上述挑战,实现了事后快

速追溯和事中实时监测,发明了并联型用户号码智能辨

识方法实现用户身份精确获取,基于语义分析的动态算

2科学创新点及科学成就法实现不良信息的实时跟踪和溯源。研制的不良信息事

后快速追溯和可疑号码事中实时监测系统,率先实现IP本项目需要在海量报文识别、海量数据处理、信息地址精确和快速溯源,实现了用户身份识别从无法规模精确溯源、动态业务建模四大难点领域进行突破,而国

内外现有技术还无法实现上述需求,同时项目应用涉及

成果推广

中国科技成果\2014年\第04期\CHINASCIENCEANDTECHNOLOGYACHIEVEMENTS

商用到大规模商用,攻克了移动互联网不良信息难以追水帄和重要的社会效益及经济效益。”

溯的难题,为打击移动互联网犯罪奠定了技术基础。项目获得2013年度“国家科学技术进步二等奖”:2:海量数据低成本存储和快速分析检索处理。针和2012年度“中国通信学会科学技术进步一等奖”。对海量数据低成本存储和快速检索难题,提出新的基于全

局的数据优先选择策略、全文索引机制、分布式存储架构3经济和社会效益和分布式统计调度算法,突破了传统结构化关系型数据库

数据规模和扩展性限制,将以往300个地市帄台整合为一项目研制的系统在中国联通全国推广应用,并应用

于国家计算机网络信息安全管理中心、新浪网、中国人个帄台。单集群数据规模达5PB、万亿条记录规模的大表

中记录检索时间小于100ms、统计效率提升60%。保等。国家计算机网络与信息安全管理中心已将本项目

研制的系统作为该中心的基础数据支撑帄台,认为,“在:3:海量报文流式识别与聚类关联。针对万亿级移

中心工程和业务应用中发挥了重要作用,有效支撑了业动互联网海量分组报文的特征探测和信息抽取问题,发

务工作的开展”。明了基于反馈的报文流式识别机制和针对不同流量类型

进行聚类关联的实时数据流处理方法,显著提升DPI报经济效益方面,从2010,2012年,项目系统为中

国联通新增销售额10.7亿元,新增利润3.7亿元,新增文识别效率,克服了上网记录一致性归并时显著增加系

税收3200万元,节约建设成本6.4亿元。统开销的问题,降低存储量40%,攻克了移动互联网不

能提供类似语音详单那样的上网记录详单的技术难题,社会效益方面,该项目为移动互联网用户提供流量解决了流量计费“雾里看花”问题,在全球率先提供了消费记录,实现了用户明明白白消费,为移动互联网提

供了健康透明的消费环境。通过研制的不良信息事后快移动用户上网记录详单查询服务,实现了移动互联网透

明消费。速追溯和可疑号码事中实时监测系统,为保障移动互联

网内容健康和信息安全提供了有力支撑,为打击移动互:4:基于用户流量特征的基站集中监测与优化设计。

联网犯罪奠定了技术基础。通过对用户上网