腾讯DOCKER云平台GaiaStack介绍.pdf

腾讯docker云平台GaiaStack 罗韩梅 目录 CONTENT 项 目背景 架构及特性 底层能力 GaiaStack项 目背景 一个通用的资源管理和调度平台 ，作为集群操作系统服务于上层各类应用。 （as a Cluster Operating System ） ü 将一个数据中心的硬件资源逻辑上整合成一台服务器 ü 为云应用软件提供统一、标准的接口 ü 管理海量的任务以及资源调配 GaiaStack项 目背景 GaiaStack架构及特性 GaiaStack架构及特性 GaiaStack架构及特性 keystone 套件 cinder 监控 GaiaStack架构及特性 底层能力 Online + offline • 在线业务通常有以天为周期 的资源特征 • 但是每个小时/每半小时资源 都不同，甚至波动较大 kernel docker ceph Registry kubernetes 底层能力 kernel 底层能力 Kernel：network IO 下图是两个进程都拼命争抢网络带宽时的效果。两个进 程的带宽和时延都得不到任何程度的保证。 底层能力 Kernel：network IO n队列 ： 不增加队列 ， 对每个报文直接在正常代码路径上进行决策 nCgroup区分(标记) ： 在正常处理流程中 ，报文查找到 目标socket结构之后 ，根据 socket的owner process来确定cgroup n报文决策 ： 令牌桶 + 共享令牌池 + 显式借令牌 n限速方式 ： ECN标记 + TCP滑窗 + 丢包 底层能力 Kernel：Disk IO 对buffer io失控。cgroup通过识别pid，控制磁盘io 。但在buffer io 中，失去了 原有的pid信息，导致不可控。 底层能力 Kernel：Disk IO • 在io weight方面 （cfq机制），是通过时间片进行分割的，而不是通过iops或 者bps进行衡量。用户观察到的传输数据波动比较大。 • cgroup对io 的控制 目前是hard模式(throttle)，即给某个进程限速后，该进程 永远不会超过该速率 底层能力 Kernel：Disk IO Buffer write测试 Direct write测试 底层能力 Docker • Bug fix • Docker热升级 • 网络插件 • 弹性内存控制 • RBD插件 底层能力 ceph 离线数据存储 云硬盘 cephFS cephRBD • 多MDS