《云计算基础与应用》课件07云计算与大数据.pptxVIP

云计算基础与应用 PPT模板下载：/moban/ 行业PPT模板：/hangye/ 节日PPT模板：/jieri/ PPT素材下载：/sucai/ PPT背景图片：/beijing/ PPT图表下载：/tubiao/ 优秀PPT下载：/xiazai/ PPT教程： /powerpoint/ Word教程： /word/ Excel教程：/excel/ 资料下载：/ziliao/ PPT课件下载：/kejian/ 范文下载：/fanwen/ 试卷下载：/shiti/ 教案下载：/jiaoan/ 第7章 云计算与大数据 图灵奖获得者詹姆斯●格雷(JamesGray)曾提出著名的新摩尔定律:每18个月全球新增信息量是计算机有史以来全部信息量的总和。时至今日,所累积的数据量之大,已经无法用传统方法处理,因此大数据这个词备受瞩目。而处理大数据的技术手段,恰恰需要用到云计算。可以说大数据和云计算是一个事物的两个方面，大数据是原材料,云计算是处理工具。因为云计算的发展产生了大量数据,这些数据可以通过云计算系统获取、存储和分析处理。传统的单机系统无法处理大数据,只有依靠云计算系统才可以。 那么,大数据是如何形成的?大数据与云计算是什么关系?下面就沿着这个线索进行深入的分析。 第7章 云计算与大数据 7.1大数据简介 7.3大数据处理系统实例 7.2大数据处理系统 7.4大数据应用 大数据的结构类型 大数据的定义 7.1.2 7.1.1 7.1 大数据简介 7.1.3 大数据的特征 7.1.2 大数据的处理技术 7. 1. 1 大数据的定义 大数据指的是大量数据的集合,可以从数据量来区分和判断。 维基百科对大数据的定义为:大数据(big data)又称为巨量资料,指的是所涉及的资料量规模巨大。由于数量太大,想要通过目前主流的软件工具,在合理的时间内把这些数据处理成帮助企业经营决策的资讯,是无法做到的。百度百科对大数据的定义是:大数据是指无法在可承受的时间范围内,用常规软件工具进行捕捉、管理和处理的数据集合。 大数据并没有明确的界限，它的标准是可变的。大数据在今天的不同行业中的范围可以从TB到PB,但在20年前,1 GB的数据已经是大数据了。可见,随着计算机软硬件技术的发展,符合大数据标准的数据集容量也会增长。其数据集规模已经超过了传统数据库软件获取存储、分析和管理的能力。 大数据除了数据量大,另一个含义是数据的维度更广,原本看似无关的数据信息,如股票涨停数据与天气数据,在大数据时代,它们也被联系在了一起。 7. 1.2大数据的结构类型 大数据的结构类型包括以下4种。 1.结构化数据 结构化数据包括预定义的数据类型、格式和结构的数据,如关系型数据库中的数据。 2.半结构化数据 半结构化数据是具有可识别的模式并可解析的文本数据,如自描述和具有定义模式的XML数据。半结构化数据和普通纯文本相比具有一定的结构性,但和具有严格理论模型的关系数据库的数据相比更灵活。它是一种适于数据库集成的数据模型,也就是说,适于描述包含在两个或多个数据库(这些数据库含有不同模式的相似数据)中的数据。 7. 1.2大数据的结构类型 3.准结构化数据 准结构化数据是具有不规则数据格式的文本数据,使用工具可进行格式化。例如，包含不一致的数据值和格式化的网站点击数据。 4.非结构化数据 非结构化数据是没有固定结构的数据,通常保存为不同类型的文件,如文本文档、图片、音频和视频。这类数据在互联网信息内容形式中占据了很大比例。随着“互联网+”战略的实施,将会有越来越多的非结构化数据产生,据预测,非结构化数据将占据所有各种数据的70%以上。结构化数据分析挖掘技术经过多年的发展,已经形成了相对成熟的技术体系。正是由于非结构化数据中没有限定结构形式,表示灵活,蕴含了丰富的信息。因此,在大数据分析挖掘中掌握非结构化数据处理技术是至关重要的。 7.1.3 大数据的特征 大数据的结构类型包括以下4种。 大数据的特征包括volume数据量大)、variety(种类多)、value价值密度低)、velocity(速度快),如图7-1所示。 图7-1大数 据特征图 7.1.3 大数据的特征 目前，各类机构存储数据的数量正在急速增长。存储的数据包括环境数据、财务数据、医疗数据、监控数据、商务数据等。数据量从TB级别、PB级别升级到ZB级别。随着数据量的不断增加,可处理、理解和分析的数据比例却在不断下降。 1. volume(数据量大)