何蔚然-Mooncake 分离式推理架构创新与实践.pdf

Mooncake分离式推理架构

创新与实践

演讲人：何蔚然

目录

01大规模推理挑战02单点性能优化

03分离式架构04未来展望

01

大规模推理挑战

大规模推理挑战

优雅的集群过载

Kimi智能助手+开放平台每日贡献海量

请求，由多个负载特点不一的子业务系

统共同支撑

典型负载特点

•偏向LongContext

•严格的SLO保证

•集群压力过载

为此设计了特殊的并行和调度策略

成本比2023年下降超20倍

大规模推理挑战

推理降本价值观

推理成本越来越低，模型智能越来越高

•不以牺牲智能为代价做降本

更低的推理成本=更省的模型结构+更便宜的硬件

•更便宜的LongContext=更快的Attention计算+更小的KVCache

•更便宜的Generation=更大的BatchSize+更Decode友好的并行方式

实际应用成本：长文Prefill很关键，总体看Generation成本才是大头

大规模推理挑战

超长上下文性能挑战自动运维与故障定位

FullAttention耗时过长，Llama31M可能需要数十分钟推理实例快速拉起及动态切换

多轮对话重复计算KV浪费大量GPUHours硬件巡检-节点隔离

潮汐资源

长文本DecodeIO压力显著高，成为成本大头•长时、离线任务

KVCache占用大量显存，影响BatchSize上限•轻量训练任务

Prefill峰值显存高，单点DecodeBatchSize进一步下降

BatchSize偏小导致Matmul性能低下

02

单点性能优化

单点性能优化

混合并行策略

•TensorParalle