大数据技术基础（第2版）全套教学课件.pptx

;;;知

识

目

标;能够分析一些典型的大数据应用场景，简单阐释其背后的原理。;思政目标;6.让城市更聪明更智慧;;1.1大数据的概念和特征;1.1大数据的概念和特征;1.1大数据的概念和特征;1.1大数据的概念和特征;01;;3;;;;数据采集

网络上各种来源的数据，包括社交网络数据、电子商务交易数据、网上银行交易数据、搜索引擎点击数据、物联网传感器数据等，在被采集前都是零散的，没有任何意义。数据采集就是将这些数据写入存储系统（如数据仓库），整合在一起，以便对数据进行综合分析。;;;;;;;1.3大数据平台架构和集群;;;;数据采集层利用一系列数据采集技术，主要实现对数据的ETL（抽取、转换和加载）操作。用户从数据源抽取出所需的数据，经过数据清洗，按照预先定义好的数据模型，将数据加载到存储系统（如数据仓库）中去，再对存储系统中的数据进行处理与分析。;;;1.3大数据平台架构和集群;;;;;;01;;;;;;1.4大数据的行业应用;;;;1.4大数据的行业应用;;近些年，以大数据、云计算、物联网和人工智能等技术为核心的新一代信息技术高速发展，在助力解决各行业现实需求、培育新业态、形成经济发展新动能方面发挥了重要作用。大数据、云计算、物联网和人工智能，代表了IT领域最新的技术发展趋势，它们彼此渗透、相互融合，既有区别又有联系。;;物联网;人工智能;大数据和云计算的关系;;1.6实战演练——使用PowerBI分析产品销售情况;;;;;知

识

目

标;;思政目标;;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;Hadoop的特性;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;2.1Hadoop及其生态系统;;2.2Hadoop的运行模式;2.2Hadoop的运行模式;2.2Hadoop的运行模式;2.2Hadoop的运行模式;2.2Hadoop的运行模式;;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;2.3安装部署Hadoop集群;;;;;;;;知

识

目

标;知

识

目

标;;思政目标;;3.1数据采集;3.1.1数据的主要来源;数据源的分类;大数据的主要来源;大数据的主要来源;大数据的主要来源;大数据的主要来源;1.网络数据采集;3.1.2常用的数据采集方法;3.1.2常用的数据采集方法;3.1.2常用的数据采集方法;3.1.2常用的数据采集方法;3.1.2常用的数据采集方法;3.1.2常用的数据采集方法;;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;3.2网络爬虫技术;;3.3数据预处理;3.3.1数据审查;3.3.2数据清洗;3.3.2数据清洗;3.3.3数据转换;3.3.3数据转换;;3.3.4数据验证;;3.3.5数据脱敏;3.3.5数据脱敏;;;;;;;知

识

目

标;;思政目标;;4.1.1大数据的数据类型;4.1.1大数据的数据类型;4.1.1大数据的数据类型;4.1.1大数据的数据类型;4.1.1大数据的数据类型;4.1.1大数