云计算与大数据技术 课件10.1 Spark简介和生态.pptx

Spark简介与生态

Spark简介ApacheSpark是专门为大规模数据处理而设计的基于内存的快速通用计算平台。它是加州大学伯克利分校AMP（Algorithms,Machines,andPeopleLab）实验室开发和开源的类HadoopMapReduce的通用并行框架，可以用来构建大型的、低延迟的数据分析应用程序。

Spark计算平台Spark提供了一个全面、统一的框架，包括SparkSQL、SparkStreaming、SparkMLlib、SparkGraphX等技术组件，可以一站式地完成大数据领域的离线批处理、交互式查询分析、流计算、机器学习、图计算等常见的任务。

Spark计算平台的生态Spark生态圈以SparkCore为核心，可从HDFS、AmazonS3和HBase等持久层读取数据，以YARN、Mesos和自身携带的Standalone为ClusterManager调度任务Job完成Spark应用程序的计算。

Spark的应用场景Spark适用于计算量大、效率要求高的应用场景；基于实时数据流的数据处理，延迟性要求为数百毫秒到数秒；基于历史数据的交互式查询，要求响应较快。例如，使用大数据分析来构建推荐系统，进行个性化推荐、广告定点投放等，这种应用场景的数据量大且需要进行逻辑复杂的批数据处理，对计算效率有较高的要求。

Spark的应用场景