基于任务进度感知的异构hadoop云平台任务调度方案-计算机应用研究.pdf

基于任务进度感知的异构Hadoop 云平台任务调度方案 作者 刘莹, 罗兴宇, 王宁, 罗强 机构 重庆邮电大学 移通学院 计算机科学系；重庆邮电大学 计算机科学与技术学院 发表期刊 《计算机应用研究》 预排期卷 2017 年第34 卷第10 期 访问地址 /article/02-2017-10-062.html 发布日期 2016-10-12 18:10:53 引用格式 刘莹, 罗兴宇, 王宁, 罗强. 基于任务进度感知的异构 Hadoop 云平台任务调度方案[J/OL]. [2016 -10-12]. /article/02-2017-10-062.html. 摘要 针对异构 Hadoop 云计算平台中任务调度问题进行了研究，并分析了现有推测执行调度和 LATE 调度方案的缺陷，提出一种基于任务进度感知的自适应任务调度方案。首先，根据当前计算节点 上的任务进度情况，估计任务近似完成时间（ATE），以此确定掉队者（Straggler ）任务；然后， 以平均节点任务进度的25%为阈值，将节点分为慢节点和快节点。当Straggler 后备任务达到一定 阈值时，将其优先分配到快节点中执行。实验结果表明，提出的方案能够为异构Hadoop 平台合 理分配任务，有效降低了任务完成时间和响应延迟… 关键词 Hadoop 云平台, 任务调度, 任务进度感知, 掉队者任务, 节点分类 中图分类号 TP393 基金项目 重庆市教委科学技术研究项目（KJ1502003）; 重庆市本科高校“三特行动计划”特殊专业建设项目 （渝教高（2013）49 号） 优先出版 计 算 机 应 用 研 究 第34 卷 基于任务进度感知的异构Hadoop 云平台任务调度方案* a a a b 刘 莹 ，罗兴宇 ，王 宁 ，罗 强 (重庆邮电大学 a．移通学院 计算机科学系；b ．计算机科学与技术学院，重庆，400065) 摘 要：针对异构Hadoop 云计算平台中任务调度问题进行了研究，并分析了现有推测执行调度和LATE 调度方案的缺 陷，提出一种基于任务进度感知的自适应任务调度方案。首先，根据当前计算节点上的任务进度情况，估计任务近似完 成时间 （ATE），以此确定掉队者（Straggler）任务；然后，以平均节点任务进度的25%为阈值，将节点分为慢节点和快 节点。当 Straggler 后备任务达到一定阈值时，将其优先分配到快节点中执行。实验结果表明，提出的方案能够为异构 Hadoop 平台合理分配任务，有效降低了任务完成时间和响应延迟，同时提高了平台吞吐量。 关键词：Hadoop 云平台；任务调度；任务进度感知；掉队者任务；节点分类 中图分类号：TP393 Task scheduling scheme in heterogeneous Hadoop cloud platform based on task progress aware a a a b Liu Ying , Luo Xingyu , Wng Ning , Luo Qiang (a. Dept of Computer Science, College of Mobile Telecommunications, b. School of Computer Scienc