课程标准 - spark大数据技术.docxVIP

大数据应用专业 Spark 大数据技术与应用课程标准 一 、 基本信息 1.课程名称： Spark 大数据技术与应用 2.课程编码： 3.适应对象：三年制大数据应用专业 4.总学时：64 学时 5.学分：5 6.教学条件： 一体化教室、武汉伟创聚赢科技有限公司 7.建设团队：共有教师x 人，专职讲师x 人 8.审定机构：教务处 9.审定日期： 二、 课程理念 1.课程定位 本课程是为大数据技术类相关专业学生开设的课程。 Spark 继承了 MapReduce 分布式计 算的优点并改进了 MapReduce 明显的缺陷。 Spark 拥有 Hadoop MapReduce 所具有的优点， 但不同于 MapReduce,Spark 的中间输出结果可以保存在内存中，从而大大减少了读写 HDFS 的次数，因此 Spark 能更好地适用于数据挖掘与机器学习中需要迭代的算法。目前， Spark 在企业中的运用越来越广泛，学习 Spark 分布式计算框架已然是进入大数据行业所必 不可少的一步。 2.课程改革理念 大数据技术蓬勃发展，基于开源技术的 Hadoop 在行业中应用广泛。但是 Hadoop 本身 还存在诸多缺陷，最主要的缺陷是其 MapReduce 计算模型延迟过高，无法胜任实时、快速 计算的需求。 Spark 的诞生弥补了MapReduce 的缺陷。 3.课程设计思路 本课程采用理论与实践相结合的教学方法。在理论上，通过典型案例引入概念、原理 和方法。在实践上，由教师讲解案例背景，提供简单思路。引导学生对案例进行针对性的 分析，审理和讨论，扩展学生的思维，增加学生的兴趣。通过学生的讨论、自主实践和练 习，提高学生的判断能力，专业能力和综合素质。 要求学生自主搭建 Spark 集群、完成章节任务、掌握基本理论和提升专业能力。在每 章的任务教学中，可适当布置联系、组织讨论、引导提出扩展的解决方案，充分调动学生 的主观能动性，锤炼学生的专业精神并提升动手能力，以达到本课程的培养目的。 三、课程目标 1.总目标 通过本课程的学习，使学生对 Spark 分布式计算框架有一个全面的理解，课程内容主 要包括了Spark 基本原理与架构、集群安装配置、 Scala 与 Spark 编程、 Spark 代表组件， 完整项目案例等精选内容。涉及的知识点简要精到，实践操作性强。 2. 具体目标 (1)知识目标 1. 了解Spark 概念 2掌握如何搭建Spark 分布式环境 3掌握Spark RDD 的概念 4了解Spark 的运行流程和原理 5掌握RDD 的转化操作和行动操作方法 6掌握键值对RDD 的操作 7掌握文本文件的读取和存储 (2)能力目标 1 掌握如何在IDEA 中配置Spark 编程环境 2 掌握Spark 程序的编写 3掌握Spark SQL 使用方法 4掌握Spark Streaming 使用方法 5 掌握Spark GraphX 使用方法 6 掌握Spark MLlib 使用方法 7 学习ALS 算法 8 掌握MLlib 算法包的使用 (3)素质目标 ①学生自主探究学习状态 ②学生合作学习状态 ③学生的自我感受(共鸣度、愉悦度、价值度) ④与人合作的积极性 四、 课程教学内容 本课程由8个教学项目组成，课程具体教学内容见表1。 表 1 课程教学内容一览表 序 号 项目/模 块/任务 教学内容/任 务 教学/学习目标 教学活动设计 教学资源 学习地点 学时 1 Spark 基础知 识 Spark概述 Spark基本概念 Spark发展和应用 Spark环境配置方 法 Spark架构及原理 了解Spark概念 掌握如何搭建 Spark分布式环 境 掌握Spark RDD 的概念 了解Spark的运 行流程和原理 课件、教 案、素材、 教学环境、 实践项目 实训机房 4 2 Spark编程 从内存中已有数据 创建RDD 从外部存储创建 RDD RDD转化操作和行 动操作方法 RDD键值对操作 文件读取与存储 掌握RDD的转化 操作和行动操作 方法 掌握键值对RDD 的操作 掌握文本文件的 读取和存储 课件、教 案、素材、 教学环境、 实践项目 实训机房 8 3 Spark编程进 阶 下 载 与 安 装 IntelliJ IDEA Scala插件安装与 使用 配置Spark运行环 境的方法 运行Spark程序的 方法 持久化方法 数据分区方法 掌握如何在IDEA 中配置Spark编 程环境 掌握Spark程序 的编写 课件、教 案、素材、 教学环境、 实践项目 实训机房 10 4 Spark SQL:$ 结构化数据文 件处理 Spark SQL简介 park SQL CLI配 置 Spark SQL与Shell 交互