电商搜索和推荐场景下的MLOps实践.pdf

电商搜推场景下的MLOps实践 QCon 2023全球软件开发北京大会 李友科 京东-零售 自我介绍 李友科 • 京东零售 • 负责系统的风险控制、质量保障与效 率提升 QCon 2023全球软件开发北京大会 • 在电商搜推场景下，测试服务化、算 法服务化、MLOps平台化落地的核心 参与者 “You Got a Dream, You Gotta Protect It” Scene From The Pursuit of Happyness 议程  概况  规模化后，成本、效率与质量  工程实践成就算法服务化 • 低负载治理 • 算法协作 • 模型双飞轮 • 团队协作 • 特征工程效率与质量QCon 2023全球软件开发北京大会 • 模型与特征  总结 • 算法服务化 • 模型评测  从算法服务化到MLOps平台化 • 工作界面改变 • 度量与平台自我迭代 • 平台系统架构 ML在需求交付流程中的位置 大环境和趋势 ： • 互联网降本增效 • 技术部门，工作价值量化，成本效率为主 电商行业 ： • 存量竞争 • 用户转化率、商家可运营、流量生态 • 搜推系统核心竞争力，预测服务质量和算法迭代 QCon 2023全球软件开发北京大会 效率 流量分发 ： • 模型从简单线性、树型模型到复杂的深度模型 • 业务效率持续提升 • 业务赋能、流量调控 • 快速应对业务需求 ML生命周期与MLOps QCon 2023全球软件开发北京大会 模型双飞轮 （一） • 正在AB实验的模型，迭代目标：效率提升、业务 实验模型 赋能、流量调控 • 通过AB实验挑选出，满足全量的模型。全量模型 全量模型 服务大部分流量，同时作为实验模型的对比基准 QCon 2023全球软件开发北京大会 • 对应上一个版本的全量模型,保留1-2周，对比观 Holdback模 察全量模型的业务效果 型 模型双飞轮 （二） QCon 2023全球软件开发北京大会 特征工程的效率与质量 （一） • 特征：Dump原始特征 • 效率：在线和离线并行开发算子，不需要等待算子上线，就可以开始 离线模型开发和训练。可能需要花费大量时间对齐算后特征 • 质量：如果不能保障算子质量，在线和离线算后特征不一致风险极高 QCon 2023全球软件开发北京大会 特征工程的效率与质量 （二） • 特征：Dump算后特征 • 效率：离线训练需要等待在线算子开发、特征积累。模型开发前期等 待在线Ready ，一般需要2-3周 • 质量：理论上，不存在算后特征一致性 QCon 2023全球软件开发北京大会 特征工程的效率与质量 （三） • 特征：Dump算前特征，共享算子 • 效率：在线和离线共享相同代码的算子；只需要算子开发完成，就可 以开始离线模型开发和训练 •