大数据分析主流工具-Spark介绍.pdfVIP

大数据分析主流工具-Spark介绍

一.Spark是什么

Spark是伯克利大学2009年开始研发的一个项目，它是大数据时代下的一个快速处理数

据分析工作的框架。spark发展十分迅速，2014年，Hadoop的四大商业机构均宣称全力

支持Spark,今后将全面接收基于Spark编写的数据挖掘与分析算法，多家世界顶级的数

据企业例如Google,Facebook等现已纷纷转向Spark框架。

近两年，Spark在中国的发展达到了一个前所未有的状态和高度。其中阿里巴巴的搜索

和广告业务，最初使用Mahout和MapReduce来解决复杂的机器学习问题，但是在效率

和代码维护方面并不理想，现已转向Spark框架。淘宝技术团队

使用Spark实现了多次迭代的机器学习算法和一些高计算复杂度的算法，并将其运用在

推荐系统上；同时还利用Spark中的一系列组件解决了基于最大连通图的社区发现、基

于三角形计数的关系衡量、基于随机游走的用户属性传播等许多生产问题。止匕外，腾

讯也是最早使用Spark的应用之一，借助Spark快速迭代的优势，腾讯提出了大数据精

准推荐，并采用“数据+算法+系统”这套技术方案支持每天上百亿的请求量。

二、为什么spark如此之火?

•Spark四大特性之特性一：快速

相同的实验环境与数据下，在内存中运行相同的程序，Spark比MapReduce快约100倍；

在磁盘中运彳T相同的程序，Spark要MapReduce快约10倍。例如图2所示，Spark和

MapReduce进行逻辑回归运算后的实验数据。

®

①

ER6UC

仁

ria

针对于非常考验系统性能的排序问题，图3解释Spark与MapReduce对100TB

数据样本排序的实验结果比较：MapReduce用了2100台机器，花费72分钟;

而Spark仅用207台机器，不到前者的1/10,花费23分钟，接近前者的1/3

On-DiskSortRecord:Timetosort100TB

2013Record:2100machines：：：：：：；：：：

Hadoop

oniHDcL-rj.207machines:

21i14Record::

Spark

23minutes

此外，众多实验表明，在处理迭代式应用上Spark比MapReduce快20多倍；计算数据

分析类报表的性能提高了40多倍；Spark能够在5-7秒的延时内交互式扫描仃B数据集。

Spark运行速度如此之快，主要得益于以下两方面：一方面，Spark中的运算大多是基于

内存的。Spark提出了一种分布式的内存抽象，称为弹性分布式数据集

。

(RDD,ResilientDistributedDatasets)RDD支持基于工作集的应用，同时具有数据流模型的

特点：自动容错、位置感知调度和可伸缩性。

RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工

作集，这极大地提升了查询速度。另一方面，Spark从稳定的物理存储(如分布式文件系

统)中加载记录，记录被传入由一组确定性操作构成的DAG,然后

写回稳定存储。DAG数据流图能够在运行时自动实现任务调度和故障恢复。尽管非循环

数据流是一种很强大的抽象方法，但仍然有些应用无法使用这种方式描述。

Spark能够在多个并行操作之间重用工作数据集，适用于非循环数据流模型难以处理的应

用。

•Spark四大特性之特性二：易用

Spark编程非常高效、简洁，支持多种语言的API,如Java,Scala,Python

等，而且代码非常简洁。例如在基于MapReduce开发的WordCount示例程序中，用户

需要重写Map类和Reduce类，虽然MapReduce类似八股文的程序编写模式极大地简化

了并行程序开发过程，但是程序代码至少几十行。若基于Spark开发同样的WordCount

程序，仅需下面短短的几行代码，例如下面程序是对存储在HDFS上的wc.input中的单

词个数进行统计：

sc.textFile(hdfs://master:8020/