韩奇祺-脱敏GOPS2024上海站V2.pdf

SLO在小红书的探索与实践

姓名：韩奇祺

个人简介

韩奇祺

公司职位

小红书/可观测技术部

负责告警、大盘、服务监控相关研发工作

目前从0-1负责SLO平台能力建设

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

为什么引入SLO

运营建设思路

目录平台能力及最佳实践

结果和展望

为什么引入SLO

01

稳定性现状:故障

故障

•故障数持续减少，但速度放缓，故障等级向低危转移，但极端故障风险依然存在

•某些场景故障收敛，有些实现了阶段性清零

•某些场景近期故障频发，主要来源于代码bug与系统设计历史债务问题，

加之迭代加快带来的质量与稳定性风险

-缺少非故障类型的稳定性目标牵引，缺少一种预算机制，去平衡功能迭代和稳定性之间的关系

MTTR故障数风险

•体现了针对故障的应急协同能力•结果，不可控因素多，受变更、容量等•风险识别来自故障驱动居多

•架构的容错和弹性因素影响•一些稳定性风险依赖人工梳理

•能代表问题发生与不发生，不能提现业

务质量

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

稳定性现状:架构治理

架构治理

技术架构和链路随着业务的扩张成几何倍数变的复杂，上下游依赖之间稳定性改进困难。

业务之间需要明确好服务提供方和用户双方之间的责任和合作方式，握手和建立约束，给到上游一

个明确可量化的能力表现预期，比如提供的服务质量需要保证99.99%

MTTR故障数

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

稳定性现状:服务劣化

服务劣化

服务质量开始劣化且劣化程度没有达到告警阈值的时，很难被感知到。在这种情况下提升告警阈值

又会导致告警泛滥。

告警像是一个重度问题的急诊，服务劣化现象更像是亚健康的状态，是长周期的问题，基于影响面

积去体现劣化程度，很难被告警发现。

SLO能够累记一定时间窗口的错误，计算的是累积值。

MTTR故障数

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

为什么引入SLO

运作机制

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

什么是SLO

SLISLO