基于 ClickHouse 的日志检索与数据分析实践.pdfVIP

基于 ClickHouse 的日志检索与数据分析实践 个人简介 杜旻翔 石墨文档基础设施研发专家，2021年加入石墨文档完成 Websocket 网关的设计与研发， 深度参与 DevOps 平台开发，目前负责 ClickVisual 的相关开发业务。 曾任斗鱼资深研发工程师，经历斗鱼微服务转型，主导识别中台构建和配置中心开发，同 时参与了 Ego 和 Jupiter 微服务框架的开发维护。 目录 为什么选择 ClickHouse 进行日志存储与分析 ü 需求 ü 选型 ü 效果 ClickVisual ：一个轻量级高性能的日志可视化分析利器 ü 为什么 ü 怎么做 ü 核心点 项目优化过程中 ClickHouse 实践经验分享 ü 查询效率优化 ü 存储成本降低 ü 依赖组件减少 为什么选择 ClickHouse 进行日志存储与分析 1.1 需求 云中立 低成本 高性能 Ø 多云架构统一 Ø 低成本存储 Ø 秒级 P90 查询 Ø 无云服务的私有化部署 Ø 低成本运行 1.2 选型 查询能力值 存储性价比 分析能力值 分析性价比 主观评价 Hive 中 中 高 中 中 Loki 低 高 低 低 高 ClickHouse 高 中 高 中 高 Elasticsearch 高 低 中 高 中 Ø CH 存储成本比 ES 低 50% 左右 Ø CH 数据 分析 能力更强 Ø CH 数据 导入 更快 1.3 上线效果 Ø 成本下降 60%+ Ø P90 查询延迟在 秒级 1.4 总结 I. 低硬件成本 核心需求 II. 高查询性能 III. 云中立 I. 极致查询性能 ClickHouse II. 支持 OLAP 数据分析 优势 III. 低存储成本低，可选数据压缩算法 ClickVisual ：一个轻量级高性能的日志可视化分析利器 2.1 现状 /clickvisual/clickvisual 2.2 造轮子 社区空白 目前尚无成熟的基于 ClickHouse 类 Kibana 日志分析检索平台 WHY