Spark大数据分析实务 教案 项目7 基于Spark开发环境实现广告流量检测违规识别 教案.docx

项目7基于Spark开发环境实现广告流量检测违规识别

教案

课程名称：Spark大数据技术实务

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64学时（其中理论32学时，实验32学时）

总学分：4.0学分

本章学时：12学时

材料清单

《Spark大数据技术实务》教材。

配套PPT。

引导性提问。

探究性问题。

拓展性问题。

教学目标与基本要求

教学目标

首先介绍如何搭建Java开发环境以及Spark开发环境，通过开发环境搭建，实现Spark程序在开发环境下运行。然后对广告流量检测违规识别项目的数据预处理、特征构建以及模型构建代码进行封装。最后将在IntelliJIDEA中打包工程输出的JAR包在集群中运行。

基本要求

掌握JDK8安装和环境配置。

掌握IntelliJIDEA中创建Scala工程。

掌握Spark运行环境配置。

能够在本地环境下配置JDK环境，实现Java环境搭建。

能够在IntelliJIDEA中配置相关插件和开发依赖包，实现Scala工程创建。

能够在IntelliJIDEA中配置Spark运行环境，实现Spark程序运行。

问题

引导性提问

引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。

什么是IDE？

常见的IDE编程软件有哪些？

如何将Spark代码集合、封装成一个可执行的代码？

探究性问题

探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。

安装JDK的作用是什么？

配置Spark的开发环境需要哪些步骤？

运行Spark程序的方式有哪些？怎么操作？

拓展性问题

拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。

如何通过Maven工具实现程序自动化打包？

在一个Spark程序类中，通过SparkConf设置了appName，如果在使用spark-submit提交任务到集群中时再次设置appName，那么按照参数的优先级，最终使用了哪一个appName?

主要知识点、重点与难点

主要知识点

安装JDK8。

设置环境变量。

下载与安装IntelliJIDEA。

Scala插件安装与使用。

在IntelliJIDEA中配置Spark运行环境。

运行Spark程序。

开发环境下实现流量数据违规识别。

模型应用。

重点

Scala插件的使用。

在IntelliJIDEA中配置Spark运行环境。

运行Spark程序。

难点

在IntelliJIDEA中配置Spark运行环境。

运行Spark程序。

教学过程设计

理论教学过程

安装JDK8。

设置环境变量。

下载与安装IntelliJIDEA。

Scala插件安装与使用。

在IntelliJIDEA中配置Spark运行环境。

运行Spark程序。

实践教学过程

安装JDK8。

设置环境变量。

下载与安装IntelliJIDEA。

Scala插件安装与使用。

在IntelliJIDEA中配置Spark运行环境。

运行Spark程序。

集群连接参数设置。

封装代码。

运行Spark程序。

教材与参考资料

教材

郑浩森，张荣．Spark大数据技术分析[M]．北京：人民邮电出版社．2024．

参考资料

[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．

[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．

[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．