专题04 数据处理与应用（知识清单）-2024-2025学年高中信息技术一轮复习（浙教版）.docxVIP

专题04数据处理与应用

【学习目标】

理解数据处理的重要性：使学生能够理解数据在现代信息社会中的应用价值，以及准确处理数据对于数据分析结果的影响。

掌握基本的数据整理技巧：教授学生如何识别和处理数据缺失、重复、异常、逻辑错误和格式不一致等问题，确保数据的质量和可用性。

熟悉常用数据处理工具：介绍Excel等常用数据处理软件的基本操作，包括公式的应用、单元格引用、算术及文本运算符的使用，以及函数的应用等。

【思维导图】

【知识梳理】

知识点一：数据整理

1.常见的数据问题及其处理方法：

（1）数据缺失：数据集中普遍存在的问题，一般可能是数据丢失或数据本身不完整

处理方法：忽略或采用平均值、中间值或概率统计值填充。

（2）数据重复：在多数据源合并时经常出现，导致资源冗余和浪费。

处理方法：进一步审核的基础上进行合并或删除。

（3）异常数据：数据集中的某些数据不符合一般规律，例：健康系统显示体温到达50摄氏度。

处理方法：这些有可能是要去掉的噪声，也有可能是含有重要信息的数据对象。

（4）逻辑错误：属性与实际不符，违背业务规则或逻辑，例：某人的生日为13月40日

处理方法：对应的字段需要设置取值范围判断。

（5）格式不一致：多出现在数据来源多样的系统中

处理方法：将不同格式的数据转换成统一格式后再进行处理。

2.常用的数据处理和统计分析工具有Excel、SPSS、SAS、MATLAB等软件，也可以通过R、Python、Java等计算机语言编程进行数据处理。

3.常见的图表类型有：柱形图、折线图、饼图、雷达图、散点图、气泡图等。

知识点二：大数据处理

1.大数据处理的基本思想：“分治思想”，即将一个复杂的问题拆分成两个或多个相同或相似的子问题，找到求这几个问题的解法之后，再找出合适的方法把它们组合成求整个问题的解法。

2.大数据处理的数据类型：

（1）静态数据：在处理时已经收集完成、在计算时不会发生改变的数据

处理方法：批处理

（2）流数据：不间断地、持续地到达的实时数据。流数据的价值会随着时间的流逝降低。

处理方法：流计算或实时分析计算

（3）图数据：现实世界中以图形式展现的数据。如社交网络、道路交通等

处理方法：图计算

3.批处理

Hadoop是一个可运行于大规模计算机集群上的分布式系统基础架构，适用于静态数据的批量计算。Hadoop计算平台主要包括Common公共库、分布式文件系统HDFS、分布式数据库HBase、分布式并行计算模型MapReduce等多个模块。

（1）分布式文件系统（HDFS）：将大规模海量数据以文件的形式、用多个副本保存在不同的存A储节点中，并用分布式系统管理。HDFS是一个高度容错性的文件系统，云盘、网盘的底层一般采用HDFS实现。

（2）分布式数据库（HBase）：HBase建立在HDFS提供的底层存储基础上，采用基于列的存储方式，主要存储韭结构化和半结构化的数据，具有良好的横向扩展能力。

（3）分布式并行计算模型（MapReduce）：MapReduce是一种分布式并行编程模型，能够进行大规模的并行计算。其核心处理思想是将任务分解并分发到多个节点上进行并行处理，最后汇总输出。

4.流计算

流计算主要用于处理流数据，如大型购物网络的广告推荐、社交网络的个性化推荐等。处理流数据的软件主要有TwitterStorm，Heron，Yahoo！S4等。Storm和S4是目前较为流行的开源分布式实时计算系统。

5.图计算

现实世界中的很多数据以图的形式呈现，或者是需要转换为图后才能分析。目前图处理的软件主要分为两类：图数据库和并行图处理系统。

知识点三：编程处理数据

利用pandas模块处理数据

利用matplotlib模块绘图

利用pathon分析数据实践

知识点四：编程处理数据

1.文本数据处理主要应用在搜索引擎、情报分析、自动摘要、自动校对、论文查重、文本分类、

垃圾邮件过滤、机器翻译、自动应答等方面。

2.典型的文本处理过程主要包括分词、特征提取、数据分析、结果呈现等。

3.中文分词方法

（1）基于词典的分词方法：用词典中的词语进行比对。案例：Python中的jieba库

（2）基于统计的分词方法：根据上下文相邻字出现的频率统计。

（3）基于规则的分词方法：根据现有资料和规律学习实现分词。

4.特征提取方法

（1）根据专家知识挑选有价值的特征。（约等于人工分析）

（2）用数学建模的方法构造评估函数自动选取特征。（目前大多采用）

5.结果呈现方式：

（1）标签云：用文字大小形式表现词语的重要性

（2）文本情感分析：根据分析颗粒度可以分为词语级、语句级、整篇文章级三类。

知识点五：数据可视化

1，数据可视化是将数据以图形、图像等形式表示、直接呈现数据中蕴含信息的处理过程。

2，可视化的作用：快