Spark大数据处理技术.pptxVIP

《Spark》大数据处理技术

Spark基础第1章

第1章Spark基础1.1初识Spark1.2Spark应用场景1.3Spark生态系统1.4Spark与Hadoop对比1.5Spark多语言编程本章小结

1.1初识Spark

1.1初识SparkSpark是专为大规模数据处理而设计的快速通用计算引擎，它能更好地适用于数据挖掘和机器学习中需要迭代的算法。本章内容是带领读者走进Spark，了解Spark的发展历史，了解Spar应用场景，Spark的生态系统；通过比较Spark与Hadoop体会Spark的优点和独有特点；简单对比Spark三种编程语言，了解Scala语言的优势。

1.1初识Spark1.1.1Spark的简介Spark是一种基于内存计算的框架，是一种通用的大数据快速处理引擎。Spark是加州大学伯克利分校的AMP实验室（UCBerkeleyAMPlab）所开发的，可用来构建大型的、低延迟的数据分析应用程序。Spark是一种与Hadoop相似的开源集群计算环境，二者之间有很多相似之处，但也存在诸多差异，由于Spark启用了内存分布数据集，所以Spark在某些工作负载方面表现得比Hadoop突出，除了能够提供交互式查询外，还可以优化迭代工作负载。Spark是基于Scala语言实现的，Scala作为Spark的应用程序框架，二者能够紧密集成，Scala可以像操作本地集合对象一样轻松地操作Spark分布式数据集。Spark和Hadoop作为大数据处理的两种关键技术，Spark支持在分布式数据集上进行迭代作业，也可以在Hadoop文件系统中并行运行，但需要通过名为Mesos的第三方集群框架支持。

1.1初识Spark1.1.2Spark发展2009年，Spark诞生于美国加州大学伯克利分校的AMP实验室。2010年，Spark通过BSD许可协议正式对外开源发布。2012年，Spark第一篇论文发布，第一个正式版本发布。2013年，加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成立；发布了SparkStreaming、SparkMLlib、SparkonHadoop。2014年，Spark成为Apache软件基金会的顶级项目；5月底Spark1.0.0发布；发布SparkGraphx、SparkSQL，SparkonHadoop被SparkSQL取代。

2015年，Spark1.3.0发布，该版本发布的最大亮点是新引入的DataFrameAPI，对于结构型的DataSet，它提供了更方便更强大的操作运算。除了DataFrame之外，还值得关注的一点是SparkSQL成为了正式版本，它在国内IT行业得到普遍应用，许多公司开始重点部署或者使用Spark来替代MapReduce、Hive、Storm等传统的大数据计算框架。2016年，Spark1.6.0发布，该版本主要展示三个方面的主题：新的DatasetAPI带来的性能提升（streamingstatemanagement十倍的性能提升），大量新的机器学习和统计分析算法。Spark同时推出Dataset，具有更强的数据分析手段。2017年，Spark2.2.0发布，它是2.x系列的第三个版本。该版本的主要更新内容主要针对的是系统的可用性、稳定性以及代码润色。2018年，Spark2.4.0发布，它成为全球最大的开源项目。1.1初识Spark1.1.2Spark发展

1.2Spark应用场景Spark在许多领域得到广泛的应用，具有通用性；Spark适用于需要多次操作特定数据集的应用场合；Spark是基于内存的迭代计算框架，其操作的次数、读取的数据量、对应受益情况如表1.1所示。此外，Spark也适合数据量不是特别大，但需要实时统计分析的需求。反复操作的次数读取的数据量受益情况多密度大相对大少密度大相对小不同的企业根据其不同目标和业务案例，使用Spark的主要场景包括：（1）数据仓库技术ETL（Extract-Transform-Load）：将数据推入存储系统之前对其进行清洗和聚合。（2）捕获并处理异常：检测异常行为并触发相关逻辑处理过程。（3）数据浓缩：将实时数据与静态数据浓缩成更为精炼的数据以用于实时分析。（4）复杂会话和持续学习：将与实时会话相关的事件组合起来进行分析，例如对用户登陆网站或者相关端点之后的行为进行组合分析。

1.2Spark应用场景目前，很多国内外大众型互联网企