大数据全集移动spark培训.pdf

Use of MapReduce engin for Big Data projects will decline ， re ced by Apache Spark 移动Spark培训 1 Spark 2 Scala 串讲 S C 3 Spark 编程模型 O N 4 Spark 内核深入 T E 5 SparkSQL N T 6 SparkStreaming 7 Spark机器学习 8 Spark性能调优 9 Spark 图计算Graphx SparkSQL SparkSql ：概念原理 SparkSQL概念 1. Spark SQL概述 Spark SQL 是一个用来处理结构化数据的spark组件。它提供了一个叫做DataFrames的 可编程抽象数据模型，并且可被视为一个分布式的SQL查询引擎。 2. Spark SQL 的基础数据模型DataFrames DataFrame是由命名列所组织起来的一个分布式数据集合。你可以把它看成是一个关 系型数据库的表。 DataFrame可以通过多种来源创建：结构化数据文件，hive的表，外部数据库，或者 RDDs 3. Spark SQL如何使用 首先，利用sqlContext从外部数据源加载数据为DataFrame 然后，利用DataFrame上丰富的api进行查询、转换 SparkSQL架构原理 方式 RDD api DSL sparkSql-s Thrift Server 查询 操作 DataFrame SQLContext save() 加载 保存 外部数据源 Parquet File Json File RDDs Hive Table Others SparkSQL SparkSql ：数据结构DataFrame DataFrame介绍 DataFrame是一个以命名列方式组织的分布式数据集，等同于关系型数据库中的一 个表，也相当于R/Python中的data frames （但是进行了 的优化）。 DataFrames可以由结构化数据文件转换而来，也可以从Hive中的表得来，以及可以 转换自外部数据库或现有的RDD。 DataFrame与生俱来就支持 最流行的格式，包括JSON文件、Parquet文件和Hive 表格。DataFra