第2章-云计算与大数据的相关技术(微软雅黑)报告.ppt

云计算与大数据技术 目 录 CONTENTS 第1章　 云计算与大数据基础 第2章　 云计算与大数据的相关技术 第3章　 虚拟化技术 第4章　 集群系统基础 第5章　 MPI—面向计算 第6章　 Hadoop—分布式大数据系统 第7章　 HPCC—面向数据的高性能计算集群系统 第8章　 Storm—基于拓扑的流数据实时计算系统 第9章　 服务器与数据中心 第10章 云计算大数据仿真技术 第2章　云计算与大数据的相关技术 《云计算与大数据技术》 第2章 云计算与大数据的相关技术 2.1　云计算与大数据 2.2　云计算与物联网 2.3　一致性哈希算法 2.3.1　一致性哈希算法的基本原理 2.3.2 　一致性哈希算法中计算和存储位置的一致性 2.4　非关系型数据库 2.4.1　从关系型数据库到非关系型数据库 2.4.2　非关系型数据库的定义 2.4.3　非关系型数据库的分类 2.5　集群高速通信标准InfiniBand 2.6　云计算大数据集群的自组织特性 2.1　云计算与大数据 2.1　云计算与大数据 云计算与大数据相比云计算更像是对一种新的技术模式的描述而不是对某一项技术的描述，而大数据则较为确切地与一些具体的技术相关联。 目前新出现的一些技术如Hadoop、HPCC、Storm都较为确切地与大数据相关，同时并行计算技术、分布式存储技术、数据挖掘技术这些传统的计算机学科在大数据条件下又再次萌发出生机，并在大数据时代找到了新的研究内容。 2.1　云计算与大数据 大数据其实是对面向数据计算技术中对数据量的一个形象描述，通常也可以被称为海量数据。 云计算整合的资源主要是计算和存储资源，云计算技术的发展也清晰地呈现出两大主题—计算和数据。伴随这两大主题，出现了云计算和大数据这两个热门概念，任何概念的出现都不是偶然的，取决于当时的技术发展状况。 李国杰院士认为：“信息系统需要从数据围绕着处理器转改为处理能力围绕着数据转，将计算用于数据，而不是将数据用于计算”。 2.1　云计算与大数据 海量的数据本身很难直接使用，只有通过处理的数据才能真正地成为有用的数据，因此云计算时代计算和数据两大主题可以进一步明确为数据和针对数据的计算，计算可以使海量的数据成为有用的信息，进而处理成为知识。 目前提到云计算时，有时将云存储作为单独的一项技术来对待，只是把网络化的存储笼统地称为云存储，事实上在面向数据的时代不管是出现了云计算的概念还是大数据的概念，存储都不是一个独立存在的系统。特别是在集群条件下，计算和存储都是分布式的，如何让计算“找”到自己需要处理的数据是云计算系统需要具有的核心功能。 2.1　云计算与大数据 面向数据要求计算是面向数据的，那么数据的存储方式将会深刻地影响计算实现的方式。 在分布式系统中实现计算和数据有效融合从而提高数据处理能力，简化分布式程序设计难度，降低系统网络通信压力从而使系统能有效地面对大数据处理的机制称为计算和数据的协作机制。 在这种协作机制中计算如何找到数据并启动分布式处理任务的问题是需要重点研究的课题，这一问题被称为计算和数据的位置一致性问题。 2.1　云计算与大数据 面向数据也可以更准确地称为“面向数据的计算”，面向数据要求系统的设计和架构是围绕数据为核心展开的，面向数据也是云计算系统的一个基本特征，而计算与数据的有效协作是面向数据的核心要求。 回顾计算机技术的发展历程，可以清晰地看到计算机技术从面向计算逐步转变到面向数据的过程。从面向计算到面向数据是技术发展的必然趋势，并不能把云计算的出现归功于任何的个人和企业。这一过程的描述如图2.1所示，该图从硬件、网络和云计算的演进过程等方面以时间为顺序进行了纵向和横向的对比。 2.1　云计算与大数据 在计算机技术的早期由于硬件设备体积庞大，价格昂贵，这一阶段数据的产生还是“个别”人的工作。这个时期的数据生产者主要是科学家或军事部门，他们更关注计算机的计算能力，计算能力的高低决定了研究能力和一个国家军事能力的高低。 2.1　云计算与大数据 如图2.2所示，人类早期知识的发现主要依赖于经验、观察和实验，需要的计算和产生的数据都是很少的。人类在这一时期对于宇宙的认识都是这样形成的，就像伽利略为了证明自由落体定理，是通过在比萨斜塔扔下两个大小不一的小球一样，人类在那个时代知识的获取方式是原始而朴素的。 2.2　云计算与物联网 2.2　云计算与物联网 云计算和物联网在出现的时间上非常接近，以至于有一段时间云计算和物联网两个名词总是同时出现在各类媒体上。 物联网的出现部分得益于网络的发展，大量传感器数据的收集需要良好的网络环境，特别是部分图像数据的传输更是对网络的性能有较高的要求。 在物联网技术中传感器的大量使用使数据的生产实现自动化，数据生产的