基于Hadoop平台的并行化数据分类算法研究.pdfVIP

学兔兔 铷l 匐 似 基于Hadoop平台的并行化数据分类算法研究 Research on parallelized cIassi们cation algorithm based on the Hadoop platform 黄 黎，顾 筠 HUANG Li．GU Jun (江苏开放大学信息工程系，南京21 001 7) 摘 要：随着云数据规模的急剧增长，传统的基于统计学和机器学习方法的数据分类算法在处理海量、 异构和复杂的Web数据时面临系统扩展性的瓶颈。在云计算平台Hadoop上，实现数据分类中 特征提取、特征分析和特征分类的MapReduce化处理。通过知识推理并行化特征构造，建立 概念层次结构的特征度量，与分类算法的并行化处理进行融合，在真实数据集上进行验证， 与传统算法组合在精度和时间开销上进行比较，实验表明该分类算法能获得更好的准确性和 加速比，是一种有效的海量数据分类方法。 关键词：云计算；数据分类；Hadoop；并行计算；MapReduoe 中圈分类号：TP3 文献标识码：A 文章编号：1 009-01 34(201 4)07(下)-0005-05 Doi：1 0．3969／J．1ssn．1 009-01 34．2014．07(下)．02 0 引言 研究正成为学术界研究的热点，很多学者认为 MapReduce模型适合结构一致的海量数据，且要 随着云时代的到来和移动互联网的快速发 展，数据规模急剧膨胀，数据挖掘的要求和环境 求计算简单；而大量的数据密集型应用，往往涉 也变得越来越复杂。数据分类作为数据挖掘中一 及到数据降维、程序迭代、近似求解等复杂的算 法，计算非常困难。针对传统数据挖掘软件扩展 项非常重要的工作，在商业、军事、科研的决策 性差以及MapReduce数据分析功能薄弱的特点，斯 分析中应用广泛。但是海量数据本身具有噪声、 坦福大学Chu等人在国际学术会议NIPS’2006提出 异构、算法复杂、技术复杂等问题，使得传统的 一 种基于MapReduce的、适用于大量机器学习算法 基于统计理论和机器学习算法的分类方法及其体 的通用并行编程框架，实现了在若干独立数据集 系架构在海量数据中面临很多局限，因此，在海 量Web数据分类中如何提高数据处理能力和执行 上的并行化求和操作。Ranger等人提出了一个基 于MapReduce的应用程序编程接口Phoenix，并实 效率已成目前的研究热点。 现了K—MeaJ1s、主成分分析和线性回归三种数据挖 云计算平台提供的分布式文件存储和并行计