吴杰华脱敏-腾讯音乐基于全链路的可观测挑战与解决之道.pdf

腾讯音乐基于全链路的

可观测挑战与解决之道

分享人：吴杰华

个人简介

吴杰华

腾讯音乐监控负责人

9年研发经验，其中7年监控领域经验，2019年加入

腾讯音乐后负责监控业务，提供一站式监控服务。

平台专注监控及可观测性领域，提供高可用低延迟

低成本的观测能力，全方位覆盖业务监控诉求。

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

背景与挑战

构建全链路基础之道

目录全链路可观测解决之道

探索可观测前沿场景

背景与挑战

01

介绍腾讯音乐在监控上的发展历程，以及所取得的成果。

腾讯音乐监控历程

自助监控智能化观测

用户配置加工规则、上报数据后，借助AI能力，合并多场景观测值，

自动生成视图，自助多维分析智能归因排障

人力监控全链路观测

对所需要监控的指标，排期开发通过链路数据，构建全景视图。

支持监控诉求针对链路上异常，分析一镜到底。

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

监控初期的现状挑战

数据体量大业务多样化监控诉求

l治理复杂度l规范不一致l使用便易性

上百PB日志，治理成本高业务相对独立，口径不一统一观测标准

服务间拓扑关联难度大l框架结构复杂性贴合业界标准

l加工计算规模产品自身体系庞大复杂l快速发现能力

实时计算20E/min框架不一，如Go/C++/Java等低延迟响应，且可靠

关联计算复杂性高全局透视，问题点呈现

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

腾讯音乐解决方案

观测全景

应用告警报表

规范协议指标标准

通道网络上报数仓平台

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

构建全链路基础之道