全面认识大数据基础知识培训课件（60页）.pptx

大数据基础知识培训PPT;

口大数据的定义

-广义的定义(哲学):大数据，是指物理世界到数字世界的映射和提炼。通过发现其中的数据特征，从而做出提升效率的决策行为。

-狭义的定义(技术):大数据，是通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。;

口数据的级别

1KB=1024B(KB-kilobyte)TXT文本文件

1MB=1024KB(MB-megabyte)一份Word文件或一首音乐

1GB=1024MB(GB-gigabyte)一部电影

1TB=1024GB(TB-terabyte)普通硬盘为1TB/2TB/4TB;

-1辆自动驾驶车每天可以产生的数据：60TB;

-1个智慧工厂每天可以产出的数据：1PB;

-1座智慧城市每天可以产出的数据：2.5PB;

一大型强子对撞机实验每年产出的数据：25PB;

一谷歌搜索引擎的数据总规模(2021年)为：62PB;一全球数据量同比增速维持在25%左右；

-预计到2025年，全球数据量将达到175ZB。;

口数据的主要来源

一传统企业数据(Traditionalenterprisedata):

包括CRM用户数据、ERP数据、库存数据、人事数据、财务数据等。

一机器和传感器数据(Machine-generated/sensordata):

包括设备日志、智能仪表、工业传感器、环境传感器、摄像头等。

一社交数据(Socialdata):

包括用户行为记录、访问记录、UGC内容、反馈数据等。;

□数据的类型(按结构)

一结构化数据(StructuredData):

以关系数据库表形式管理的数据，例如企业ERP、OA、HR里的数据。

一非结构化数据(UnstructuredData):

数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据，例如Word、PDF、PPT及各种格式的图片、视频等。

一半结构化数据(Semi-structuredData):

非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、E-mail等。;

□数据的类型(按访问频率)

一冷数据(ColdData,占比80%):

指访问频率较低、对业务和应用不太重要的数据，例如备份数据、日志数据等。

一热数据(HotData,占比5%):

指访问频率高、对业务和应用关键的数据，例如用户、设备的状态信息，以及浏览和交易行为。

一温数据(WarmData,占比15%):

指访问频率适中、对业务和应用有一定重要性的数据。;

■大数据基本概念

口数据的价值挖掘;

口大数据、数据分析、数据挖掘

一大数据是互联网的海量数据挖掘；

一数据挖掘更多是针对内部企业行业小众化的数据挖掘；

一数据分析就是进行做出针对性的分析和诊断；

一大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。;

规模性(Volume)

高速性(Velocity)

多样性(Variety)

价值性(Value)

真实性(Veracity);

口规模性(Volume)

·广泛的数据来源，决定了大数据形式的庞大体量。

□高速性(Velocity)

·从数据的生成到消耗，时间窗口非常小。数据的变化速率，还有处理过程，越来越快。

口多样性(Variety)

·数据的形式是多种多样的，包含了结构化和非结构化数据。

口价值性(Value)

·大数据的数据量很大，但是价值密度很低。数据中真正有价值的，只是其中的很少一部分。

□真实性(Veracity)

·大量数据带来不完整性和不一致性，因此产生了准确性。;;

口大数据、云计算、人工智能的关系

-云计算关注资源的分配和利用，侧重于实现计算设备的资源虚拟化，从而实现更高效的资源利用；一而大数据是指海量数据的高效处理，主要处理庞大的数据；

一云计算给大数据提供了有力的工具，大数据为云计算提供了数据能力上的支撑；

-大数据和云计算为人工智能提供了强大的数据存储和计算能力，服务于人工智能所需要的海量数据。;

PART大数据的发展演进;

口大数据的发展(国际)

·1980年，美国作家阿尔文·托夫勒在《第三次浪潮》书中，将“大数据”称为“第三次浪潮的华彩乐章”。

·1997年，美国宇航局研究员迈克尔·考克斯和大卫·埃尔斯沃斯首次使用“大数据”这一术语来描述海量数据带

来的挑战。数据之大，超出了存储器的承载能力，称之为“大数据问题”。

·2002年“91