新教材粤教版高中信息技术学业水平 综合测试 第五章 数据处理与可视化表达.pdfVIP

必修1数据与计算

第五章数据处理和可视化表达

5.1认识大数据

5.1.1大数据

大数据是指无法在可承受的时间范围内用常规软件工具进行高效捕捉、管理和处理的

数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海

量、高增长率和多样化的信息资产。

5.1.2大数据的特征

（1）从互联网产生大数据的角度来看，大数据具有“4V”特征：大量（Volume）、多

样（Variety）、低价值密度（Value）、高速（Velocity）。

第一，数据体量巨大。从TB级别跃升到PB级别。

第二，数据类型繁多。如网络日志、视频、图片、地理位置信息等。

第三，价值密度低。以视频为例，在连续不间断的监控过程中，有用的数据可能仅仅

一两秒。

第四，变化速度快。数据来自世界各地的网络终端，且以秒为单位快速变化。

（2）从互联网思维的角度来看，大数据具有三个特征：样本渐趋于总体，精确让位于

模糊，相关性重于因果。

第一，在大数据时代强调数据要全量而不是抽样，即强调数据规模全量，而不是强调

数量巨大。大数据时代有了更好的数据采集手段，让获取全量数据成为可能。

第二，大数据时代研究的数据如此之多，追求的不是精确性，而是模糊性。在大数据

时代，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观

层面拥有更好的洞察力。

第三，大数据时代不是因果关系，而是相关关系。在大数据时代，无须再紧盯事物之

间的因果关系，而应该寻找事物之间的相关关系；相关关系也许不能准确地告诉我们某件

事情为何会发生，但是会提醒我们这件事情正在发生。

（3）从大数据存储与计算的角度来看，大数据具有两个特征：分布式存储和分布式并

行计算。

第一，大数据存储在互联网不同的服务器与各客户终端。

第二，应用分布式并行计算处理互联网的大数据。

5.1.3大数据对日常生活的影响

1.大数据使人们日常生活更为便捷：方便支付；方便出行；方便购物与产品推介；方

便看病与诊病。

2.大数据对人们日常生活产生的负面影响：个人信息泄露；信息伤害与诈骗。

第1页共8页

5.2数据的采集

5.2.1数据采集的基本方法

数据采集的基本方法包括：1.系统日志采集法；2.网络数据采集法；3.其他数据采集

法。

拓展：Python网络数据采集程序使用的扩展库

(1)NumPy（NumericalPython）

是构建科学计算最基础的软件库；

(2)SciPy

是一个工程和科学软件库，包含线性代数、优化、集成和统计的模块；

(3)Pandas

是一个Python包，旨在通过标记（labeled）和关系（relational）数据进行工作；

(4)Matplotlib

是Python的一个2D绘图库。

在Python模块库中有大量模块可供使用，要想使用这些文件，就需要用import语句

把指定模块导入当前程序中。使用import语句导入模块的语法如下：

importmodule

关键字模块名

fromimport语句也是导入模块的一种方法，是导入指定模块内的指定函数方法。使

用fromimport语句导入模块内指定方法的语法如下：

frommoduleimportname

关键字模块名关键字方法名

5.2.2数据的存储和保护

1.数据的存储

一种是把数据存在本地内部，另一种是把数据存在第三方公共或私有的“云端”存

储。

2.数据的保护

（1）数据安全保