大模型在日志运维场景的应用实践-2023 饶琛琳正式版.ppt

分享主题大模型在日志运维场景的应用实践饶琛琳日志易产品副总裁

目录Contents01.02.03.大模型在日志场景的应用方向实践运用大模型的路径大模型在金融企业应用案例更快捷的分析海量日志更智能的解读和预测故障理想vs现实：估算资源构建高质量的训练数据模型的评估和迭代优化产品设计“扬长避短”背景：某金融企业大量业务日志难点：关键字复杂多变方案：实现知识库增强的自然语言查询效果：故障排查时间缩短40%

01大模型在日志场景的应用方向?更快捷的分析海量日志?更智能的解读和预测故障?理想vs现实：估算资源

谷歌Sec-PaLM的日志概要效果

日志问答方案(1)：超大窗口问题1：窗口不会无限大，日志却无限多。问题2：对于长文本中部的内容，LLM不太敏感。

日志问答方案(2)：AgentChain问题1：运维知识理解的要求较高问题2：agent/functioncall能力要求较高

日志问答方案(3)：模式提问+分段选择

资源消耗估算场景看起来很美好，但实际部署时存在一定成本压力。我们进行了一些简单的资源估算:?1000条SSH日志大概包含5-6万个tokens。对于这个长度，LLM推理速度较慢，需要10多秒。?使用最新的Yi-6b-200k模型测试，24GB显存仅能处理约3ktokens，相当于50行日志。?按ChatGLM规模预估,80G显存的单卡最多只能处理200行SSH日志。?并行计算时，8块80G卡也只能同时处理约1600行。结论:?直接进行日志问答，在理论上可行，但算力需求巨大。?该方案实际成本过高，目前的硬件条件难以支撑实际应用。?生成和调用现有分析工具相对更现实。

02实践运用大模型的路径?构建高质量的训练数据?模型的评估和迭代优化?产品设计“扬长避短”

Text2SPL场景介绍/背景?TexttoSQL任务是NLP领域的经典课题之一。常见的数据集有：??SPL对比SQL的差异：没有预知的tableschema。要自行判断prompt里哪些名词疑似字段名。无法直接套用ChatGPT，SPL目前只是概念通用，语法层无标准：?WikiSQL，维基百科数据集主要是单表查询，语句比较简单。?Spider，数据集包含join等多表和嵌套，语句比较复杂。在seq2seq之前，模板技术一般评分20+；bert/T5之前，一般评分60+；ChatGPT将评分提升到85+。?日志易SPL语法和splunk/kusto/esql/ppl/humio有差别。?日志易内置字段也和CIM/ECS有差别。?CoSQL，在Spider的基础上添加了模糊语义多轮对话。目前评分在50+。?BIRD：新一代数据集，不光考虑表结构，还要考虑脏数据、执行效率。目前ChatGPT评分为40。

通用大模型的表现(1)：GPT对比T5的飞跃自然语言提问splunk-google-t5ChatGPTsearchforthetermserror,failfailure,failed,orsevereintheeventsthatalsomentionbuttercupgamesindex=_internalfail*not[searchindex=_internalerror,fail*errorsearch(errorORfailORfailureORfailedORsevere)ANDbuttercupgamessearchthesourcetypefieldforanyvaluesthatbeginwithaccess_,status200,andactionpurchase.usethechartcommandtocountthenumberofpurchases.thesearchspecifiesthepurchasesmadeforeachproductbyusingcategoryId.Thedifferenceisthatthecountofpurchasesisnowanargumentofthesparkline()function.index=access_*status=200action=purchase|chartcount(price)就这一条是可以直接运行的，还和期望输出有差距searchsourcetype=access_*status=200action=purchase|chartcount(action)bycate