IaaS云融合Q学习的自适应虚拟机部署.docxVIP

IaaS云融合Q学习的自适应虚拟机部署 摘要：云环境中，仅根据当前负载需求降低活跃主机量，忽略负载变化时的未来资源需求，会导致过多非必要虚拟机迁移，增加SLA违例。为此，提出基于Q学习的自适应虚拟机部署算法。Q学习在无需先验知识前提下，可以自适应生成资源利用率阈值，根据自适应阈值动态地对主机超载状态做出决策，判断是否进行虚拟机迁移。通过现实负载流进行实验分析，实验结果表明，该算法可以降低主机能耗，同步减小虚拟机迁移量和SLA违例率。 0 引言虚拟化是云数据中心的主要技术，利用虚拟化可以在物理服务器上部署不同性能的虚拟机，提高资源利用率很多算法通过装箱算法求解虚拟机部署问题，但会产生过多非必要迁移，增加SLA违例。比较已有工作最小化活跃主机量，本文设计一种基于Q学习的虚拟机部署算法，同步最小化虚拟机迁移量和SLA违例。所提算法由两个阶段组成，第一个阶段目标是从超载主机上迁移虚拟机，避免SLA违例；第二个阶段目标是合并非超载主机的虚拟机。为了预测负载，设计了一种Q学习机制的预测方法，对未来资源利用率进行有效预测。实验部分通过运行云环境中的两种现实负载流对算法进行评估，验证了该算法在优化能效、提升性能和降低虚拟机迁移量上的优势。1 相关工作分析目前，很多方法已被提出用于求解多目标优化的资源管理问题，在IaaS云提供方与其用户间维持需要的QoS等级是当前云资源管理的最主要目标之一。基于这一考虑，多数已有算法利用静态利用率阈值预防服务性能的下降。文献本文设计了IaaS中的一种自适应的多层次资源管理系统SARMS，在此系统的基础上，主要做了以下工作：(1）利用Q学习机制设计了一种自适应利用率阈值AUT机制动态调整资源利用率阈值。不同于现有工作仅仅考虑CPU利用率，AUT同步考虑了CPU资源和内存资源利用率。结合两类资源阈值，SARMS系统可以更好识别SLA违例并对其进行预防。(2）在SARMS系统内设计了一种虚拟机部署优化算法可维持主机利用率在自适应阈值以内，以避免SLA违例；同时，算法可以将虚拟机合并至最小数量的活跃主机上，以降低数据中心内的整体能耗。(3）利用Google负载和PlanetLab负载两种现实数据流在模拟云环境中对算法性能进行评测，评估了Q学习机制下对利用率阈值自适应调整的有效性，并与其它阈值算法在整体能耗、SLA违例比例以及虚拟机完成的迁移量进行了系统比较，体现了本文算法的性能优势。2 系统模型考虑数据中心由m台异构物理主机构成，表示为PM={PMSARMS体系将云资源管理问题划分为跨层的多代理模型，每个代理求解一个子问题。因此，可将其视为多代理的分布式资源管理系统。系统一共由4类代理构成。在核心层，全局代理GAs接收用户的虚拟机请求，并将其派发至聚合层中的不同模块代理MAs。每个MA根据来自于CAs的接收信息（包括集群中已经利用和总体资源能力）将虚拟机VM请求分派至集群代理CAs。每个CA接收来自于MA的请求并分配请求至集群的本地代理LAs。同时，数据中心内为了降低SLA违例和降低能耗，需要周期性运行虚拟机部署优化算法。每个LA监测一台主机，根据自适应利用率阈值AUT机制发现该主机的超载或非超载状态，并将其报告至集群代理CAs。LAs、CAs和MAs的数量则分别对应于主机、ToRs和CSs的数量。3 自适应虚拟机部署算法设计3.1 假设条件其中，需要说明的是：云数据中心内，相比网络资源和磁盘存储资源，CPU资源和内存资源是相对更为受限的资源，因此本文仅考虑了这两类资源的限制。但以现有模型将其扩展至另外两种资源上，也是比较容易的，不会对虚拟机部署决策的性能表现产生反转式影响。虚拟机VM式（3）表明，虚拟机上的负载为其请求的CPU和内存负载之和。相应地式中：3.2 主机超载状态发现本地代理LA根据观测状态s,LA在下一个时槽t+1的开始阶段，环境行为转换为一个新的状态s’,LA本地惩罚值LP其中，β为权重因子，代表功耗目标与性能目标间的关系。集群惩罚值CP其中，Y表示集群j中本地代理的数量。CA其中，X表示模块z中的集群代理的数量。最后，LA其中，α表示学习率，取值空间为0至1之间，若取值为0，表明算法没有发生学习行为，若取值为1，则表明仅仅利用了最近的信息来学习。折扣因子γ取值0至1之间，给出近期未来和远期未来的惩罚权重。Q3.3 虚拟机部署最优化算法过程为了降低SLA违例和物理主机能耗，每个集群代理均需要周期性运行算法1如示的虚拟机部署最优化算法，该算法通过两个阶段创建虚拟机迁移计划M。在第一个阶段中，即步骤（1）～步骤（22），算法目标是从超载主机上迁移部分虚拟机以避免可能的SL