第10章云计算大数据仿真技术.ppt

云计算与大数据技术 目 录 第1章　 云计算与大数据基础 第2章　 云计算与大数据的相关技术 第3章　 虚拟化技术 第4章　 集群系统基础 第5章　 MPI—面向计算 第6章　 Hadoop—分布式大数据系统 第7章　 HPCC—面向数据的高性能计算集群系统 第8章　 Storm—基于拓扑的流数据实时计算系统 第9章　 服务器与数据中心 第10章 云计算大数据仿真技术 第10章 云计算大数据仿真技术 《云计算与大数据技术》 第10章 云计算大数据仿真技术 10.1　用参数定义物理设备进行仿真 10.2　云计算仿真系统—CloudSim 10.2.1　CloudSim基础 10.2.2　CloudSim体系结构 10.2.3 CloudSim的使用模型场景 10.2.4　CloudSim使用实例 10.3　云计算系统相空间模型 计算机仿真是将现实生活中的系统，用计算机软件的方法在计算机中建立虚拟的替代物，以方便人们研究系统各个方面的性质。 比如，我们可以使用计算机软件对不同气候条件下的导弹的发射进行建模，模拟导弹的运动轨迹，我们可以对不同型号的导弹在不同的动力系统条件下的运动轨迹进行反复实验。 使用计算机软件的仿真技术具有经济、安全、可重复和不受气候、场地、时间限制的优势，是理论推导和科学实验之外人类认识自然、改造自然的重要手段。 本书前面几章讲解了基于虚拟化的云计算技术、基于集群的云计算技术和云计算数据中心的相关知识，基于这些技术目前已经有很多的系统级、算法级和应用级的研究展开，这些开发和研究大多需要仿真平台。 比如，技术研发人员对大规模集群的资源调度、负载均衡、集群拓扑等展开研究，如果在物理机上进行实验，必然需要消耗大量的服务器、网络设备资源，实验环境的准备、实验数据的采集、实验方案的调试很不方便，同时成本很高，使用仿真系统是一个很好的解决方案； 对于数据中心的建设和运营人员来说，数据中心的能耗测算和经济测算非常重要，需要在项目建设之前进行预估，无法在实际的平台上进行测算，展开研究需要先在仿真实验平台上进行实验。 10.1　用参数定义物理设备进行仿真 本章的主要内容包括云计算仿真软件CloudSim和云计算系统相空间模型，通过仿真软件和仿真模型使读者快速掌握云计算仿真的基础知识。 10.1　用参数定义物理设备进行仿真 在仿真系统中，我们一般将实体的参数提取出来，用变量、对象、数组来定义现实中的事物在计算机系统中构建被仿真对象。 服务器是数据中心的主要组成部分，我们可以将服务器的计算性能、CPU核数、硬盘大小、内存大小、网络带宽等主要参数提取出来，构建服务器对象。 10.1　用参数定义物理设备进行仿真 下面以一个由4个虚拟机节点组成的集群为例，说明如何使用参数来定义物理节点，集群的参数信息如表10.1所示。 10.1　用参数定义物理设备进行仿真 我们可以用数组来定义： double node[4][5]={300,2,10000,512,1000; 300,2,10000,512,500; 150,1,5000,256,500; 150,1,5000,256,1000}; 对硬盘、内存等其他设备也可以如此进行定义，比如，硬盘可以用品牌、型号、尺寸、容量、转速、传输速度等参数来定义，内存可以用品牌、型号、容量、速度、电压等参数来定义。 在对数据中心的经济模型进行仿真时，我们需要对CPU核单价、硬盘空间单价、内存空间单价、网络带宽单价等进行定义，确定销售经济模型。同时，需要定义数据中心能耗费用、维护费用、人员成本等，从而综合确定数据中心的经济模型，对数据中心建成后的营收情况进行预测。 10.2　云计算仿真系统—CloudSim 10.2.1　CloudSim基础 1．CloudSim简介 CloudSim是澳大利亚墨尔本大学云计算与分布式系统实验室开发的一种通用、可扩展的云计算仿真框架，也是一个云计算仿真工具集，提供了用于描述数据中心、虚拟机、应用、用户、计算资源和管理策略等核心类。 对海量集群资源的模拟仿真一直是是计算机领域的研究课题。在网格计算时代出现了很多仿真平台，如GridSim、SimGrid、OptorSim、GangSim等，其中GridSim的开发团队也是澳大利亚墨尔本大学云计算与分布式系统实验室。GridSim等网格计算仿真软件没有将云计算体系中的SaaS、PaaS、IaaS层抽象出来，也没有虚拟化模型和资源管理模型，CloudSim继承了GridSim的编程模型，弥补了网格计算模拟软件的不足。 10.2.1　CloudSim基础 基于CloudSim云计算仿真器，我们不仅能够很方便地搭建可控的云环境进而对系统的资源调度和负载均衡策略进行建模和