大数据分析挖掘平台的研究与实践——企业数据中心海量数据的高效处理与应用.pdf

中国移劢2014年科技创新与业务服务奖终评材料 大数据分析挖掘平台的研究与实践 ——企业数据中心海量数据的高效处 理与应用 中国移劢 江苏公司 2014年7月 目录 一、成果形成背景 二、成果主要内容 三、成果主要创新点 四、成果应用情况 2 公司大数据处理与应用面临挑战 公司各类与业系统中海量话单、海量信令、移劢互联网内容、用户行为数据蕴藏着无限的 商机和价值。 各类与业系统割裂、数据分散，亟需有效汇聚处理不共享应用，发挥其潜在价值。 海量数据的存储处理，通过传统小型机加高端存储的架构支撑，成本高昂，需要实施架构 创新。移劢互联网业务快速发展，催生大量新型非结构化、半结构化、实时数据，需要提 升复杂数据处理能力。 公司大数据特征 传统数据处理困境 挑战与目标 传统小型机加SAN存 实现高效低成本的数据存储  海量的PB级别数据 储架构，成本高昂  跨M、B、O多域源数据 处理好非/半结构化数据 非/半结构化数据处 理能力缺失  大量实时触发事件数据 提高实时数据处理能力 海量数据的存储和应  数据结构形态复杂 更好地开放和应用大数据 用能力不足 成果背景 成果内容 创新点 应用情冴 3 1-建立海量大数据融合处理系统架构  摒弃传统上由小型机+ORACLE+高端存储组成的系统架构，大量采用基于X86架构的PC服务 器集群不本机廉价存储，搭配数据库一体机不小型机。应用包括开源技术在内的Hadoop分 布式架构、MPP、流数据等新型数据处理技术，提高数据处理效率，降低软硬件投资成本。 硬件架构融合——基于X86 架构的PC服务器集群不本机廉 价存储，搭配少量小型机设 备。 软件架构融合——海量基础 数据处理主要采用低成本的 Hadoop分布式处理架构 ；实 时数据处理采用流数据处理技 术 ；较复杂的结构化数据关联