原创力文档- 1、本文档共5页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
《数据清洗》核心课程标准
课程编码0408011课程类别专业核心课
计划学时68课程类型B类
适用专业大数据技术与应用课程性质必修
开课学期第四学期学分4
大数据导论Python语言云
先行课程开课单位信息工程系
计算
大数据系统运维
平行课程考试类型考试
数据标注工程
后继课程顶岗实习
一、课程性质与定位
本课程是面向信息工程系大数据技术与应用专业学生的核心课程，是培养掌握大数据
清洗的一般理论与实际操作应用模式技术的专业实践性课程。
二、课程设计与理念
本课程系统地讲解了数据清洗理论和实际应用，共分为8章：第1章主要介绍数据清
洗的概念、任务和流程，数据标准化概念及数据仓库技术等；第2章主要介绍Windows和
类UNIX操作系统下的数据常规格式、数据编码及数据类型转换等；第3章介绍ETL概念、
数据清洗的技术路线、ETL工具及ETL子系统等；第4章介绍了Excel、Kettle、OpenRefine、
DataWrangler和HaWk的安装及使用等；第5章介绍Kettle下文本文件抽取、Web数据
抽取、数据库数据抽取及增量数据抽取等；第6章介绍数据清洗步骤、数据检验和数据错
误处理，数据质量评估及数据加载；第7章介绍网页结构，利用网络爬虫技术进行数据采
集，利用JavaScript技术进行行为日志数据采集等；第8章介绍RDBMS的数据清洗方法
和数据脱敏处理技术等。
三、课程目标
（一）总体目标
培养德、智、体、美全面发展的，能够较快适应生产、建设、管理、服务等一线岗位
需要的，面向电信、零售、银行、金融、政府等部门的掌握大数据存储、清洗、管理、建
模和分析的基本技能，具有较高综合素质与良好职业素养的发展型、复合型、创新型技术
技能人才。
（二）技能与知识目标
学习掌握数据清洗的概念、任务和流程，数据标准化概念及数据仓库技术；了解
Windows和类UNIX操作系统下的数据常规格式、数据编码及数据类型转换等；掌握ETL
概念、数据清洗的技术路线、ETL工具及ETL子系统的使用，Excel、Kettle、OpenRefine、
DataWrangler和HaWk的安装及使用，Kettle下文本文件抽取、Web数据抽取、数据库
数据抽取及增量数据抽取，数据清洗步骤、数据检验和数据错误处理，数据质量评估及数
据加载，网页结构，利用网络爬虫技术进行数据采集，利用JavaScript技术进行行为日
志数据采集，RDBMS的数据清洗方法和数据脱敏处理技术等。
（三）能力与素质目标
具备大数据应用理论基础知识，了解大数据技术框架和生态系统，熟悉Hadoop技术
框架操作，具备程序设计能力，掌握数据清洗操作，熟悉ETL工具的使用，掌握使用ETL
工具进行定制化清洗技术，能够进行常规的统计分析、报表分析，能够提出问题，并能制
定详细实施计划。
四、课程教学内容及学时分配
序号项目名称学习任务学习内容学时
数据科学过程、定义、任务、
数据清洗简介数流程、环境、实例说明数据标准化概念、常
数据清洗
1据标准化数据仓用方法数据仓库定义、组成要素、分类、相8
概述
文档评论（0）