（粤教2019版）信息技术必修1 第五章 数据处理机可视化表达 课件.pptx

信息技术：数据处理和可视化表达DATADATA

数据采集、分析、可视化05-1

认识大数据大数据的定义 大数据是指无法在可承受的时间范围内用常规软件工具进行高效捕捉、管理和处理的数据集合。（信息技术必修一5.1认识大数据）大数据是具有数量巨大、类型多样、处理效率高、数据源可靠性保证度低等综合属性的海量数据集合。

认识大数据大数据的特征分析角度大数据产生(重点)互联网思维大数据存储计算特征大量（Volume）样本趋于整体分布式存储多样（Variety)精确让位模糊低价值密度(Value)相关性重于因果分布式并行计算高速(Velocity)

数据处理05-2

数据采集数据分析数据可视化表达数据处理的一般过程数据采集系统日志采集法操作系统日志、应用程序日志、安全日志网络数据采集法网络爬虫、网站公开API、搜索引擎查找、调查问卷其他数据采集法传感器数据存储保护数据存储本地存储本地电脑、硬盘，u盘，数据库，软件云存储第三方存储服务器，阿里云数据保护数据安全加密、备份、镜像、防火墙隐私安全

数据分析05-3

数据分析数据分析特征探索关联分析聚类分析数据分类特征探索：对数据进行预处理发现和处理缺失值、异常值绘制直方图观察分析数据的分布特征求最大、最小值、极差等描述性统计值

数据分析数据分析特征探索关联分析聚类分析数据分类关联分析：分析并发现存在于大量数据之间的关联性或相关性，从而描述一个事物中的某些属性同时出现的规律和模式。

数据分析数据分析特征探索关联分析聚类分析数据分类聚类分析：人们不需要事先给出分类标准，聚类分析能从样本数据出发，自动分类。K-Means(K-平均)算法是经典的自上而下的聚类分析算法。基本思想为：初始随机选择聚集点，通过迭代计算距离，更新中心点，直到达到迭代次数或中心点不再波动为止。以此达到“物以类聚，人以群分”的效果。

数据分析数据分析特征探索关联分析聚类分析数据分类数据分类：最基本的方法，与回归分析一样可用于预测。需要事先给出分类标准，基于样本数据训练分类器。贝叶斯分类技术

数据可视化05-4

数据可视化数据可视化：快速抓住要点信息。种类繁多，根据处理数据类型的不同，选择合适的可视化呈现方式。数据可视化表达工具：绘图工具：Matplolib统计模型可视化：Seaborn;交互式可视化：Bokeh.

数据可视化

总结数据处理大数据数据采集系统数据采集网络数据采集（爬虫）其他数据（传感器）数据分析特征探索关联分析聚类分析数据分类数据可视化处理