运营商大数据应用解决专项方案.docVIP

运行商大数据应用

处理方案

目录

TOC\o1-5\h\z\u1. 大数据概述 4

1.1. 概述 4

1.2. 大数据定义 4

1.3. 大数据技术发展 6

2. 大数据应用 9

2.1. 大数据应用叙述 9

2.2. 大数据应用架构 11

2.3. 大数据行业应用 11

2.3.1. 医疗行业 11

2.3.2. 能源行业 12

2.3.3. 通信行业 12

2.3.4. 零售业 13

3. 大数据处理方案 14

3.1. 大数据技术组成 14

3.1.1. 分析技术 14

3.1.1.1. 可视化分析 14

3.1.1.2. 数据挖掘算法 14

3.1.1.3. 估计分析能力 14

3.1.1.4. 语义引擎 14

3.1.1.5. 数据质量和数据管理 15

3.1.2. 存放数据库 15

3.1.3. 分布式计算技术 16

3.2. 大数据处理过程 18

3.2.1. 采集 18

3.2.2. 导入/预处理 19

3.2.3. 统计/分析 19

3.2.4. 挖掘 19

3.3. 大数据处理关键技术-Hadoop 19

3.3.1. Hadoop组成 20

3.3.2. Hadoop优点： 23

3.3.2.1. 高可靠性。 23

3.3.2.2. 高扩展性。 23

3.3.2.3. 高效性。 23

3.3.2.4. 高容错性。 23

3.3.3. Hadoop不足 23

3.3.4. 关键商业性“大数据”处理方案 24

3.3.2.5. IBMInfoSphere大数据分析平台 24

3.3.2.6. OracleBigDataApplianc 25

3.3.2.7. MicrosoftSQLServer 25

3.3.2.8. SybaseIQ 26

3.3.5. 其它“大数据”处理方案 26

3.3.2.9. EMC 26

3.3.2.10. BigQuery 27

3.3.6. 大数据”和科技文件信息处理 27

3.4. 大数据处理技术发展前景 27

3.4.1. 大数据复杂度降低 27

3.4.2. 大数据细分市场 28

3.4.3. 大数据开源 28

3.4.4. Hadoop将加速发展 28

3.4.5. 打包大数据行业分析应用 28

3.4.6. 大数据分析革命性方法出现 29

3.4.7. 大数据和云计算:深度融合 29

3.4.8. 大数据一体机陆续公布 29

4. 基于基站大数据应用及案例 30

4.1. 气象灾难应急短信公布平台 30

4.1.1. 概述 30

4.1.1.1. 项目背景 30

4.1.1.2. 平台概述 30

4.1.2. 平台建设特点和标准 30

4.1.2.1. 建设特点 30

4.1.2.2. 建设标准 30

4.1.2.3. 大数据管理平台特点 31

4.1.3. 平台整体架构 31

4.1.3.1. 建设原理 31

4.1.3.2. 平台总体设计 33

1. 平台总体结构 33

4.1.3.3. 平台技术思绪 34

4.2. 旅游客源分析 34

4.2.1. 整体方案 34

4.2.1.1. 方案思绪 34

4.2.1.2. 系统架构 35

大数据概述

概述

大数据，IT行业又一次技术变革，大数据浪潮汹涌而至，对国家治理、企业决议和个人生活全部在产生深远影响，并将成为云计算、物联网以后信息技术产业领域又一重大创新变革。未来十年将是一个“大数据”引领智慧科技时代、伴随社交网络逐步成熟，移动带宽快速提升、云计算、物联网应用愈加丰富、更多传感设备、移动终端接入到网络，由此而产生数据及增加速度将比历史上任何时期全部要多、全部要快。

数据技术发展历史图一所表示：

图一

大数据定义

“大数据”是一个涵盖多个技术概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理数据集合。IBM将“大数据”理念定义为4个V，即大量化(Volume)、多样化(Variety)、快速化(Velocity)及由此产生价值(Value)。图二;

图二

要了解大数据这一概念，首先要从大入手，大是指数据规模，大数据通常指在10TB(1TB=1024GB)规模以上数据量。大数据同过去海量数据有所区分，其基础特