高中信息技术粤教版课件：第五章数据处理与可视化表达学业水平考试复习课件.pptx

粤教版信息技术必修一《数据与计算》高二学业水平考试复习 一【知识结构体系】第五章 数据处理与可视化 二【知识梳理】一、认识大数据（一）大数据的概念大数据：无法在可承受的时间范围内用常规软件工具进行高效捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。（二）大数据的特征1.从互联网产生大数据的角度来看（具有“4V”特征）:大量（Volume），多样（Variety）低价值密度（Value），高速（Velocity）。2.从互联网思维的角度来看：样本渐趋于总体，精确让位于模糊，相关性重于因果3.从大数据存储与计算的角度来看：分布式存储，分布式并行计算。 （三）大数据的影响1.大数据使人们日常生活更为便捷:方便支付、方便出行、方便购物与产品推荐、方便看病与诊病。2.大数据对人们日常生活产生的负面影响:个人信息泄露、信息伤害与诈骗。 二【知识梳理】二、数据的采集（一）数据采集的方法与工具1.系统日志采集法：监视系统中发生的事情检查错误发生的原因寻找攻击时攻击者留下的痕迹2.网络数据采集法：网络爬虫：从初始网页的URL（统一资源定位器）获取对应的数据网络公开API补充注意：Python网络数据采集程序使用扩展库时导入模块的方法：import module 关键字 模块名from module import name 关键字 模块名 关键字 方法名3.其他数据采集法。 二【知识梳理】拓展：Python网络数据采集程序使用的扩展库(1)NumPy（NumericalPython）是构建科学计算最基础的软件库；(2)SciPy是一个工程和科学软件库，包含线性代数、优化、集成和统计的模块；(3)Pandas是一个Python包，旨在通过标记（labeled）和关系（relational）数据进行工作；(4)Matplotlib是Python的一个2D绘图库。 二【知识梳理】（二）数据的存储 1.本地存储：把数据存在本地内部2.云存储：把数据放在第三方公共或者私有的“云端”存储分布式文件存储Nosql数据库存储（三）数据的保护1.数据安全保护技术：拷贝、备份、复制、镜像、持续备份，加密…2.数据的隐私保护（1）技术手段数据收集时：精度处理数据共享时：访问控制数据发布时：人工干扰数据分析时：匿名处理（2）提高自身意识（3）进行道德和法律约束 二【知识梳理】三、数据的分析 常见数据分析方法：特征探索，关联分析，聚类与分类，建立模型，模型评价（一）特征探索 特征探索的主要任务是对数据进行预处理，发现和处理缺失值、异常数据，绘制直方图，观察分析数据的分布特征，求最大值、最小值、极差等描述性统计量。 （二）关联分析关联分析就是分析并发现存在于大量数据之间的关联性或相关性，从而描述一个事物中某些属性同时出现的规律和模式。（三）聚类分析 聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。 K-平均算法是一种经典的自下而上的聚类分析方法。（四）数据分类 数据分类是数据分析处理中最基本的方法。数据分类通常的做法是，基于样本数据先训练构建分类函数或者分类模型（也称为分类器），该分类器具有将待分类数据项映射到某一特点类别的功能。 贝叶斯分类技术在众多分类技术中占有重要地位。 二【知识梳理】四、数据的可视化1. 数据可视化表达方式（见右边表5-5） 二【知识梳理】2. 数据可视化工具 Python语言嵌入了大量数据可视化的工具，如绘图工具模块Matplotlib、Seaborn和Bokeh等。（1）Seaborn主要关注统计模型的可视化。Seaborn基于且高度依赖于Matplotlib。（2）Bokeh也是一个很好的可视化库，可实现交互式可视化。与其他库相反，Bokeh是独立于Matplotlib的。Bokeh的重点在其交互性，且是通过浏览器以数据驱动文档的风格呈现。Matplotlib 是一个?Python?的 2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。 一起向未来，加油！