阿里云大数据计算平台基于 AIOps 的根因定位实践.pptx

阿里云大数据计算平台基于AIOps的根因定位实践阿里云算法专家/张颖莹

演讲大纲阿里云大数据运维背景010203大数据运维中的根因定位阿里云根因定位实践0405根因定位背后的算法和工程链路总结和展望

阿里云大数据运维背景01

阿里灵杰

阿里云大数据计算平台阿里云ABM运维中台大数据计算平台典型业务场景大数据计算服务MaxCompute实时计算Flink版实时数仓Hologres……

智能运维AIOps大规模架构复杂核心业务效率稳定性成本AIOps海量多源异构数据实时性

大数据运维中的根因定位02

根因定位业务价值问题发生异常发现根因定位问题恢复MeanTimeToResolve（MTTR）缩短MTTR，保障SLA（ServiceLevelAgreement）

根因定位问题定义当我们在谈论根因定位时，我们究竟在谈论什么？维度下钻根因分类因果推断定位结果根因维度根因类别根因节点/路径核心挑战庞大搜索空间特征构建因果图构建和推断

根因定位的普遍性难点数据来源和类型复杂指标间存在复杂的关联关系性能和实时性要求高标注样本数量少全新的根因类型或表现形式专家经验与模型能力的结合

阿里云根因定位实践03

案例1：多维数据下钻分析服务整体流量指标地域用户集群应用机房应用Q：哪些维度导致了服务整体流量下跌？具体是哪几个用户/机房？

难点解决方案显著度（自身变化）惊喜度（子节点分布）贡献度（总体占比）面对庞大的搜索空间如何提升性能如何量化一个维度是根因的可能性自动选择最优的搜索方向快速剪枝高效的数据结构（BitMap）案例1：DrillUp下钻分析框架

案例2：计算平台故障根因类型定位模块FlinkMaxComputeHologres根因类型资源调度YARNNMdecommissionedFuximasterfailASIserveroverloadYARNRMswitchFuxitobofailASInodefailYARNresourcepreemptionFuxiapiserveroverloadASIapiserveroverload………存储HDFSserviceunavailablepanguserverunavailableHDFSusageoverlimitpangumasterfailoverHDFScallqueuefullpangumasterqueuesizefull…panguserverwriteslowpanguchunkserverfailover…机器oomiohangdiskfailurecpuusageoverlimitmachinebreakdown…网络martnetexceptionqosexceptionlvsexception…其他Upstream-TTTunnelPOPUpstream-SLSFrontendDNS………Q：故障发生时是平台哪个模块导致的？具体是哪种类型的原因？

案例2：计算平台故障根因类型定位特征构建指标事件日志拓扑异常检测日志聚类log实时在线聚类指标构建NLP层次聚类日志类别维度

案例2：计算平台故障根因类型定位样本积累故障演练数据增强FlinkMaxComputeHologres

案例2：计算平台故障根因类型定位定位模型事件指标日志实体关系拓扑专家定义的根因类型值为0/1的时间序列指标层根因层模块1模块2模块3…类型1 类型2 类型3 …基于知识的层次贝叶斯网络（KHBN）指标层因果关系构建PCAlgorithm根因分类条件概率i ti i k 1type?=argmax Pt|m,s ,s ,j k 12…,sPm|s ,s ,j2…,s

案例2：CloudRCA根因定位框架预处理向量化(Word2Vec)实时聚类(HierarchicalClustering)异常检测模板提取(AFT-tree)基于知识的层次贝叶斯网络（KHBN）根因推断日志聚类特征数据（标准化0/1时间序列）带标注样本数据故障演练周期识别和分解PMDB指标事件中心事件日志存储系统日志[1]ZhangY,GuanZ,QianH,etal.CloudRCA:ARootCauseAnalysisFrameworkforCloudComputingPlatforms[C]//Proceedingsofthe30thACMInternationalConferenceonInformationKnowledgeManagement.2021:4373-4382