基于Hadoop海量电信数据云计算平台研究.docVIP

基于Hadoop海量电信数据云计算平台研究 　　摘要：随着社会的发展传统的数据分析法已经很难满足海量电信数据发展的需求，于是人们开始研究各种云计算平台，而Hadoop又是一个开源框架并且可实现大规模分布式计算，其主要优点是高效、可靠、可伸缩性强，因此在云计算领域得到了广泛应用。为了更好地提高其分析与计算海量数据的效率，该文首先分析研究了云计算与Hadoop，并在此基础上提出了一种分布式云计算海量数据的方法，建立了一个基于Hadoop的海量电信数据云计算平台。实践证明该平台能够有效管理与分析海量电信数据，大大提高海量电信数据的分析速度。 　　关键词：Hadoop；海量数据；云计算平台；研究 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）34-0006-02 　　随着通信技术的不断发展，用户使用的通信设备也越来越多，在通信的过程中产生的各类数据正在飞速增长，要想使这些通信设备更好地服务于社会，必须提高分析与处理这些数据的效率，而传统的关系型数据管理方法显然已经无法满足通讯业发展的需求，这就给电信运营商的数据分析与管理提出了更高要求，因此如何快捷、高效、安全的分析与管理这些海量数据，已经成为当今社会各数据工作着研究的重点内容，为此本文主要对基于Hadoop的海量电信数据云计算平台进行了研究。 　　1 相关技术简介 　　1.1 云计算 　　云计算是在综合了并行计算、分布式计算、网络计算的基础上发展而来的，它主要是通过利用大量计算机构成资源池来分析与计算相关任务的，各种计算任务的存储空间以及信息服务在这个资源池中都可以根据自身的需求获取。并且这个资源池具有安全可靠、价格低廉的优点。依照提供服务的不同，可把云计算分为SaaS.（软件即服务）、PaaS（平台即服务）、LaaS（基础设施即服务），数据是云计算的主要中心，其在数据的处理编程方面具有独特优势。 　　1.2 Hadoop 　　Hadoop是一种分布式计算开源框架，其主要是通过大计算池的搭建，来提高海量数据的计算速度，它是一种解决云计算问题的低成本方案。Google云计算可以通过 Hadoop来实现。Hadoop Common ， HDFS和MapReduce 是Hadoop的主要核心，还有一些其他子项目在Hadoop中做其相关的补充作用。Hadoop技术栈如下图所示，可扩展、经济、可靠、高效是Hadoop的主要优点，目前很多大型网站有在应用Hadoop。 　　2 基于Hadoop的海量电信数据云计算平台设计 　　2.1 平台设计的目的与原则 　　利用Hadoop通过低廉设备就可以处理海量数据的优势，可以通过采用一些低端PC服务器来搭建一个Hadoop云计算平台，来分析与处理海量电信数据，进而把分析与处理数据的速度与效率提高，来提供一些即时准确的信息供业务决策参考，同时降低公司生产成本是设计Hadoop云计算平台的主要目的。此项平台设计要遵循安全、高效、经济的原则。 　　2.2 平台框架结构 　　1）数据层 　　网络域数据与业务支撑域数据是海量电信数据主要包括的两个方面，其中Gb口数据、A口数据、WLAN数据是网络域数据主要包括的内容，客户信息、客户业务订购数据、客户消费数据等是业务域数据主要包括的内容。其中这些数据主要存储在Hadoop中的HDFS内，采用Hbase、Hive、Pig来处理与管理这些数据，统计指标用类SQL语言定义，通过生成MapReduce任务来计算与处理这些数据，在HDFS中存储处理结果。其具体框架结构如图2所示。 　　2）模型层 　　基于Hadoop的ETL处理是模型层的主要构建方法，构建分析模型如客户位置信息、上网行为模型等，有助于更好的分析客户各方面的实际情况，以便数据库能更好地为客户需求服务。 　　2.3 平台功能模块 　　用户管理、数据管理、任务管理、集群管理这些是海量电信数据云计算平台主要的功能模块。它们各自的功能主要如下： 　　用户管理模块：主要是用来管理用户信息的，如用户开通账号、身份认证、权限管理等等。 　　数据管理模块：主要是用来上传、下载或删除数据的。 　　任务管理模块：主要是用来管理系统的各项任务的，如任务申请，资源分配等等 　　集群管理模块：主要是用来管理Hadoop集群状态，任务的执行情况等等。 　　2.4 平台安全机制 　　由于Hadoop的各集群节点能够互通，采用的是统一的账号来操作Hadoop集群的各节点，加之电信数据本身具有敏感性，只靠Hadoop自身机制难以安全有效的控制数据，这样就存在了安全隐患，为把安全风险降到最低，更好的防范安全事故，应利用必要的安全机制来管理平台数据。 　　1）平台自身安全管理 　　把Hadoop集群网络划成