基于 NNI 的 Transformer 系列模型压缩实践.pdf

ML模型效率与易用性 基于NNI的Transformer系列模型压缩实践 QCon 2023全球软件开发北京大会 微软亚洲研究院 张鑫 01 NNI: 一站式AutoML工具 02 模型压缩模块 • 大模型发展现状 • 模型压缩模块的pipeline及各方法的运行原理 03 基于Transformer系列模型的压缩实践 • Transformer模型结构 目录QCon 2023全球软件开发北京大会 • Transformer系列模型分析 • 使用算法的基本原理 • 压缩流程 • 实验结果 • 平台对比 04 结论 01 NNI：一站式AutoML 工具 模型压缩模块 QCon 2023全球软件开发北京大会 基于Transformer系列 NNI： 模型的压缩实践 一站式 AutoML 工具 结论 NNI: 一站式AutoML工具 What Makes a Good Automation Toolkit 功能丰富且不 易用性 开放性 断发展 QCon 2023全球软件开发北京大会 • 易于安装，且与现有工具 • 开源工具 • 包含多种主流算法 包/环境兼容 • 可扩展性 ：能够包含 自主 • 快速适应最先进的算法 • 无需修改现有Python代 开发的算法 码 • 可部署到不同平台上，尤 • 命令行和可视化工具支持 其是云端 NNI: 一站式AutoML工具 • 神经网络架构搜索 （Neural Architecture Search，NAS） • 超参调优 （Hyperparameter Optimization, HPO） • 模型压缩 QCon 2023全球软件开发北京大会 （Model Compression）