深度学习理论与实践 第2章 深度学习框架及其对比.ppt

PaddlePaddle简介SWOTPaddlePaddle的2.0版本相对1.8版本有重大升级，包括完善动态图功能，动态图模式下数据表示概念为Tensor；调整API目录体系，API的命名和别名进行了统一规范化；数据处理、组网方式、模型训练、多卡启动、模型保存和推理等开发流程都有了对应优化。PaddlePaddle（飞桨）是由百度自主研发的开源深度学习框架。PaddlePaddle以百度多年的深度学习技术研究和业务应用为基础，集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体。飞桨源于产业实践，始终致力于与产业深入融合。目前飞桨已广泛应用于工业、农业、服务业等，与合作伙伴一起帮助越来越多的行业完成AI赋能。飞浆2016年正式开源，2017年启动新一代深度学习框架研发，2018年7月发布Paddlev0.14，目前的最新版本是2022年底发布的Paddlev2.3.1。PaddlePaddle的特点PaddlePaddle是灵活高效的产业级深度学习框架。它采用基于编程逻辑的组网范式，对于普通开发者而言更容易上手，符合他们的开发习惯。同时支持声明式和命令式编程，兼具开发的灵活性和高性能。网络结构自动设计，模型效果超越人类专家。同时，PaddlePaddle支持超大规模深度学习模型的训练。它突破了超大规模深度学习模型训练技术，实现了世界首个支持千亿特征、万亿参数、数百节点的开源大规模训练平台，攻克了超大规模深度学习模型的在线学习难题，实现了万亿规模参数模型的实时更新。然后，PaddlePaddle还有多端多平台部署的高性能推理引擎。它不仅兼容其他开源框架训练的模型，还可以轻松地部署到不同架构的平台设备上。同时，飞桨的推理速度也是全面领先的。尤其经过了跟华为麒麟NPU的软硬一体优化，使得飞桨在NPU上的推理速度进一步突破。030102ThreeTwoOnePaddlePaddle概述PaddlePaddle不仅仅是一个深度学习的框架，基于该核心框架，百度公司扩展了一系列的工具和模型，覆盖了深度学习开发和应用的整个流程，已然成为了一个功能齐全的产品。PaddlePaddle的官网上给出了产品的全景介绍，其中包括了主要使用流程和使用工具。首先在开发和训练方面，如图2-10所示，PaddlePaddle以深度学习框架为核心，包括了高阶分布式训练FleetAPI、灵活通用且易于使用的NLP大规模预训练和多任务学习框架PALM、云上任务平台PaddleCloud和量子机器学习框架PaddleQuantum。PaddlePaddle概述在模型方面，PaddlePaddle提供了预训练模型工具PaddleHub和模型压缩工具PaddleSlim，同时为不同的领域提供了开发套件，如图2-11所示。尤其是PaddleOCR，在很多OCR的产品中都有其影子。同时还有文心大模型、PaddleCV、PaddleNLP等模型库，为开发者提供了极大的便利。PaddlePaddle概述而部署方面，PaddlePaddle也为不同的平台提供了相应工具。如图2-12所示，PaddleInference提供原生推理库，PaddleServing提供方便的服务端部署，PaddleLite则面向轻量级部署，Paddle.js为Web前端提供部署方式，FastDeploy则是一个新的、综合的部署套件。第五节三者的比较三者的比较PyTorchPyTorch是当前难得的简洁优雅且高效快速的框架。PyTorch的设计追求最少的封装，遵循tensor→variable(autograd)→nn.Module三个由低到高的抽象层次，分别代表高维数组（张量）、自动求导（变量）和神经网络（层/模块），而且这三个抽象之间联系紧密，可以同时进行修改和操作。PyTorch的灵活性不以速度为代价，在许多评测中，PyTorch的速度表现胜过TensorFlow和Keras等框架。简洁的设计带来的另外一个好处就是代码易于理解。三者的比较PyTorch正在受到越来越多人的追捧。PyTorch是所有的框架中面向对象设计的最优雅的一个。PyTorch的面向对象的接口设计来源于Torch，而Torch的接口设计以灵活易用而著称。PyTorch继承了Torch的衣钵，尤其是API的设计和模块的接口都与Torch高度一致。PyTorch的设计最符合人们的思维，它让用户尽可能地专注于实现自己的想法，即所思即所得，不需要考虑太多关于框架本身的束缚。PyTorch提供了完整的文档，循序渐进的指南，作者亲自维护的论坛供用户交流和求教问题。Faceboo