薛文满-字节跳动日志智能化的探索与实践.pdfVIP

日志智能化 从海量日志中挖掘中更有价值的信息 / 薛文满 01. 日志 聚 类与聚 类报警 日志 智 能 化 的 从 0 到 1 02. 日志 模 版 其 他 场景 应用 归因 分 析 、变更 监控 、数据 治 理 03. 未 来规划 LLM for Ops 日志聚类与聚类报警 日志智能化从0到1 日志 聚 类与聚 类报警 - 背 景 介 绍 传统的 日志 异常 检测 • 根 据 日志 级别（如 INFO、WARNING、ERROR, CRITICAL ） 进行 报警 ，但 由于 其 设定 不 准 确，或 不 满足 实际需 要 ，导致 准 确性 差 • 通 过设置 规则，匹 配 日志 中 特 定 字 符 串 进行 报警 ，但 该方 法 依 赖人 工 经验，且 只 能 检测已 知 和 确定 模 式 的 异常 智 能 化 日志 分 析 能 力 • 日志 模 板 抽 取 ，方 便 用 户快 速 了 解 海 量 日志 中 包 含 的频繁 模 式 • 日志 聚 类，根 据 日志 包 含 的 语义信 息 、所 处的 上 下 游 层级信 息 进行 归并整 合 • 日志 异常 检测，根 据 日志 包 含 的 特 征 信 息 、上 下 文 信 息 、历史 信 息 ， 判 断是 否 出 现异常 ，同 时给出异常 影 响范 围以 及 严重 程 度 日志 聚 类与聚 类报警 - 概念 介 绍 日志 聚 类 日志 聚 类通 过聚 合 算 法 根 据 文 本 特 征 ，对服 务的 错误日志 进行 聚 类，帮助 用 户快 速 掌 握 业务异常 日志 全 貌 。 2022 年 10 月 正 式 上 线，目前 已 覆 盖 字 节跳 动内部 超 过 4 万 个服 务 智 能 聚 类报警 智 能 聚 类报警 基 于 日志 聚 类生 成 的 日志 模 版 模 版 时序 数据 等 元 信 息 ，为用 户提 供 主 动、被 动感 知 异常 日志 的 能 力 。2022 年 11 月 正 式 上 线，目前 已 有 超 过 5 千 个服 务配 置 了 聚 类报警 日志 聚 类 - 系 统架 构 Compressor