原创力文档- 1、本文档共58页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
字节跳动资源画像和时间序列预测的运营实践
汪喆字节跳动
汪喆
字节跳动云原生架构师
请替换
专注于云原生调度策略方向，在在离线混部、统一调度等方向有大规模集群下的实战与落地经验。目前就职于字节跳动，主要参与云原生资源效能方向的工作；Katalyst开发者。
GO
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
目录
目录
02时间序列预测与资源画像
03时序预测在效能提升中的应用
04未来展望
GO
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
01集群资源运营
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
集群资源运营
提升部署密度
资源超分规格推荐
资源稳定性
真实利用率调度重调度
集群资源运营
弹性伸缩，分时复用
潮汐混部
在离线常态混部
HPAVPA
提升有效利用率
拓扑感知调度
减少集群资源碎片
GO
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
集群资源运营
潮汐混部、HPA
提前响应，提升弹性资源质量
提前响应，提升弹性资源质量兼容周期性变动场景
预测数据驱动实时数据
预测数据驱动
实时数据驱动
静态配置定时任务
静态超分
依赖人工经验
业务峰谷导致资源浪费
常态混部、负载感知
滞后性，先数据后响应无法感知未来风险
GO
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
02时间序列预测与资源画像
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
时间序列预测
应用的负载往往具有周期性：如何衡量序列的周期性强弱？
如何结合序列的频域信息和时域信息，更好地对序列进行预测？
在线（短期）数据预测：
如何对一个负载不同的数据分布模式进行预测？
应对更多的用户场景：开箱即用的算法模块
GO
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
时间序列预测
ATFNet
ATFNet主要包括三部分：
1.T-Block
从时域获取局部依赖性
2.F-Block
从频域获取全局依赖性
3.TheDominantHarmonicSeriesEnergyWeighting
根据输入序列的周期性动态调整时域和频域模块的权重
ATFNet:AdaptiveTime-FrequencyEnsembledNetworkforLong-termTimeSeriesForecasting.arXivpreprintarXiv:2404.05192(2024)
GO
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
时间序列预测
Q1.实际系统的工作负载数据包含不同的工作负载模式和数据分布漂移
A1.首先将预测问题定义为时间序列的在线区间预测问题(OnPred-Int)。然后提出了一种集成策略，结合各种基本预测模型以适应不同的工作负载模式。
Q2.为了保证SLA，负载预测的结果尽可能比真实值稍高一些
A2.引入AdaptiveConformalInference
IPOC:AnAdaptiveIntervalPredictionModelbasedonOnlineChasingandConformalInferenceforLarge-ScaleSystems.Proceedingsofthe29thACMSIGKDDConferenceonKnowledgeDiscoveryandDataMining.2023.
GO
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
时间序列预测
分解集成思想
基于传统统计预测方法，利用分解集成预测思想优化，开箱即用，适配更多用户场景。
GO
GOPS全球运维大会暨XOps技术创新峰会2024·北京站
资源画像
资源画像对上层提供统一的抽象资源/接口，便于应用对接。
对下可以与ByteBrain服务
（开箱即用，输入历史数据，输出预测结果）以及时序预测系统（内部AI系统），获取预测结果。
GO
GOPS全球运维大会暨XOp
文档评论（0）