《数据科学与工程》课程教学大纲.pdf

研究生课程教学大纲

课程编号

编写人：万烂军编写日期：2022-02-20

课程中文名称数据科学与工程

课程英文名称DataScienceandEngineering

开课学期春季开课单位计算机学院

专业课（电子信息专业）

课程类别

选修课（计算机科学与技术专业）

主讲教师职称联系电话

备讲教师职称联系电话

其讲课32

总学时32

中实践课时0

学分2教学方式讲授

电子信息专业考核□考试

面向专业

计算机科学与技术专业方式考查

预修课程数理统计

课程内容：

1数据科学概论(6学时)

1.1大数据的相关概念(2学时)

1.2大数据的关键技术(2学时)

1.3大数据的处理架构(2学时)

基本内容：大数据的发展历程、基本概念、主要影响、应用领域；大数据的关键技术和计算

模式；大数据与云计算、物联网的关系；大数据处理架构Hadoop的生态系统及其各个组件。

2分布式文件系统HDFS(8学时)

2.1HDFS的相关概念(2学时)

2.2HDFS的体系结构(4学时)

2.3HDFS的存储原理(2学时)

基本内容：分布式文件系统的结构；HDFS的块、名称节点、数据节点、第二名称节点；HDFS

的体系结构设计；HDFS命名空间管理；HDFS中HA架构和联邦架构的设计；HDFS的存

储原理。

3分布式并行编程模型MapReduce(10学时)

3.1MapReduce概述(2学时)

3.2MapReduce的体系结构(4学时)

3.3MapReduce的工作流程(4学时)

基本内容：分布式并行编程的基本概念；MapReduce编程模型的基本概念；Map函数和Reduce

函数；MapReduce的体系结构及其缺陷；新一代资源管理调度框架YARN的设计思路与体

系结构；MapReduce的各个执行阶段；Map端的Shuffle过程；Reduce端的Shuffle过程。

4分布式并行计算框架Spark(8学时)

4.1Spark的相关概念(2学时)

4.2Spark的运行架构(4学时)

4.3SparkRDD的基本操作(2学时)

基本内容：Spark的基本概念；Spark的生态系统；Spark的环境搭建和使用方法；Spark运

行架构的基本概念；Spark运行架构设计；Spark运行基本流程；SparkRDD的设计与运行

原理；RDD常见的转换操作和行动操作。

课程内容英文简介：

Themainteachingcontentsof《DataScienceandEngineering》include:thebasicconceptsofbig

data,thekeytechnologiesofbigdata,andthebigdataprocessingarchitecture;thebasi