《Spark大数据技术与应用案例教程》课程标准.pdf

《Spark大数据技术与应用案例教程》课程

标准

【课程名称】旅行社经营与管理【课程编码】

【课程类别】专业基础课

【适用专业】计算机科学与技术、大数据技术、数据科学与大数据技术、人工智能等相

关专业

【授课单位】【总学时】48学时

【编写执笔人】【编写日期】

一、课程定位与设计思路

1.1课程性质

本课程是计算机科学与技术、大数据技术、数据科学与大数据技术、人工智能等相关专

业的专业基础课，其目标是培养学生掌握Spark大数据计算框架的基本原理和使用，培养学

生大数据思维与动手能力。

本课程旨在通过介绍大数据产生、大数据技术基础、大数据处理、分析、挖掘和可视化

的完整过程，让学生了解大数据是什么及其应用价值，全方位了解理论知识。同时结合工具

和开发语言实现数据采集、存储、处理、分析、挖掘以及可视化等操作，利用实践操作和应

用案例促进学生动手分析能力，掌握运用大数据分析软件的技能和方法。

1.2课程设计思路

本课程重视理论结合实践，每个项目讲解理论的同时以各种软件实操和案例作为论证和

巩固，提高学生学习的趣味。此外，本课程包含众多实操分析案例，在案例操作的过程中，

一方面需要指导学生完成案例操作的任务，利用工具和开发语言实现数据采集、存储、处理、

分析、挖掘以及可视化等技能，另一方面需要激发学生主动学习、深入研究的热情。本课程

立足于实际能力培养，打破以知识传授为主要特征的传统学科课程模式，转变为以实际操作

任务为中心组织课程内容和课程教学，整合理论和实践，让学生在完成具体案例的过程中来

构建和了解相关理论知识体系，并发展大数据技术应用的职业能力。

二、课程目标

2.1知识目标

（1）了解Spark的发展历程、特点与应用场景。

（2）熟悉Spark的生态系统、运行架构与运行基本流程。

（3）掌握Spark的部署模式、PySpark命令与运行应用程序的方法。

（4）掌握RDD的执行过程和依赖关系。

（5）理解RDD持久化和分区。

（6）熟悉Spark中常见的文件格式。

（7）了解SparkSQL的特点。

（8）理解SparkSQL的架构。

（9）理解SparkSQL的运行原理。

（10）了解流数据、流计算和SparkStreaming的基本概念。

（11）理解SparkStreaming的运行原理。

（12）掌握编写SparkStreaming应用程序的基本步骤。

（13）熟悉SparkStreaming的不同数据源。

（14）了解SparkMLlib的组成。

（15）熟悉SparkMLlib的基本数据类型。

（16）理解SparkMLlib的运行流程。

（17）掌握图的基本概念和类型。

（18）熟悉GraphFrames的优点和功能。

（19）了解GraphFrames的应用场景。

2.2技能目标

（1）能独立搭建Spark单机环境。

（2）能独立搭建Spark集群环境。

（3）能使用PySpark和PyCharm开发并运行应用程序。

（4）能读取数据创建RDD。

（5）能使用RDD的不同操作处理数据。

（6）能对RDD进行持久化和分区操作。

（7）能将RDD存储为不同类型的文件。

（8）能配置SparkSQL。

（9）能读取数据并创建DataFrame。

（10）能获取DataFrame的数据。

（11）能使用不同的方式查询DataFrame的数据。

（12）能将DataFrame保存为不同的数据类型。

（13）能使用SparkStreaming读取不同数据源创建DStream。

（14）能使用DStream的转换操作实时处理流数据。

（15）能使用DStream的输出操作输出实时处理的结果。

（16）能使用SparkMLlib的特征提取、特征转换和特征选择等特征化工具处理数据。

（17）能使用SparkMLlib的聚类算法处理数据。

（18）能使用SparkMLlib的分类算法处理数据。

（19）能读取数据创建图。

（20）能使用GraphFrame类的属性和图