AIGC时代智算中心网络协议演进报告.pptxVIP

AIGC时代智算中心网络协议演进报告AI需求激增推动建设计算和网络基础设施 ChatGPT引爆AI，智算算力需求激增，参数量呈指数级迭代增长 推动计算与网络基础设施建设不断布局 智能计算需求持续激增ChatGPT驱动AI大模型训练进入爆发期，参数量指数级 增长，AI智能算力增速远超摩尔定律 算网基础设施不断布局随着算力需求的快速增长，AI基础设施建设不断布局， 算与网成为AI算力的两大重要基础设施 AI基础设施算为核心网为根基来源：IDC,2022??算力需求激增，GPU是重中之重AI芯片市场规模不断扩大，较2022年，2026年AI芯片规模提升4倍，GPU市场已是红海?GPU市场规模提升，对网络设备需求激增，网络发展前景极为明朗我国智算增长迅速，较2019年，2023年算力规模提升14倍， 预测未来仍会大幅度的增长来源：中商产业研究院，安信证券研究中心来源：Frost&Sullivan，中商产业研究院...2面向大模型训练，网络成为AI算力瓶颈 ?AI大模型以GPU集群分布式训练为基础，带来大量节点间通信消耗，网络成为AI算力“瓶颈” ?当前业界主流智算中心网络技术被国外厂商垄断，网络芯片存在代际差距，网络可能成为我国AI发展的“新卡点” 集群有效算力∝｛GPU单卡算力*总卡数*线性加速比*有效运行时｝网络性能决定GPU集群算力加速比 GPU集群性能≠单GPU性能*N网络设备能力决定GPU集群组网规模 芯片容量提升2倍，组网规模提高4倍网络可用性决定GPU集群稳定性 2%的丢包就会使RDMA吞吐率下降为0随着GPU单卡算力进一步受限，获得同等算力的难度持续增加，以网强算是支撑为未来大模型训练的关键3传统DC与智算中心流量模型区别累积流量单个流量 累积流量GPU停工等待其他GPU完成工作 单个流量 智算中心大模型（All-to-all）流量模型传统DC流量模型?单个流量：数量多、带宽小、异步?单个流量：数量少、带宽大、同步?累积流量：抖动幅度较小，具有随机性?累积流量：波峰、波谷效应明显，具有周期性4 IB与RoCE是目前业界主流高性能网络协议InfiniBand与RoCE是由IBTA提出的两种主流面向RDMA提供高性能交换能力的传输协议，前者从硬件级别保证网络低时延、高吞吐，后者是将RDMA应用到以太网，依赖PFC等协议实现无损，两者在路由机制、转发机制、算网能力等方面存在差异RDMA软件栈 IB传输层 IB网络层 以太链路层 RoCEv1??Infiniband：1999年IBTA提出，第一代RDMA技术，交换机、网卡、光模块、光纤都是专用产品，专用无损网络，全球独家，和以太网不能互通，采购及维护成本高RoCE：2010年IBTA提出，本质为网卡侧封装技术，不涉及网络侧技术，网络无损能力依赖网络设备与网卡实现，产业开放，组网规模和转发性能较差 IB传输层 IB网络层 IB链路层Infiniband IB传输层 UDP 网络层以太链路层 RoCEv2管控机制不同，路由算法存在差异转发机制不同，网络性能存在差异缓存vsvs查表转发 IB 校验RoCE查表IBRoCE?集中算路统一下发?结合端口拥塞+SPF，选择 最优路径?个体算路相互独立?只看最短路径，易出现端口拥塞， 故障触发倒换?存储转发，缓存时延大?需借助PFC、DCQCN协议实现 端到端流控?直通转发，静态时延低?协议本身支持端到端流控5当前RoCE网络存在诸多问题，不适应大AI模型部署 现有以太网协议基础转发和调度机制，在AI模型训练场景存在天然缺陷，单纯优化上层网络协议无法解决， 需对底层转发和调度机制进行革新，并推动网络芯片底层逻辑架构支持，突破无损以太性能瓶颈 基于流转发，流数量少导致哈希失效，链路负载不均?问题：AI训练的流特征是流数量少但单流带宽大，传统流级负载均衡极易造 成多个流哈希到同一条链路，造成部分链路拥塞，部分空闲，网络利用率低， 无法应对突发的网络流量 有效通信带宽≠网卡/交换机 组网物理带宽 源端任意向网络推流，出现拥塞被动降速，GPU闲置等待?问题：传统以太网源端发流不关注网络情况及目的端接受能力，直接向网络“推”流， AI训练过程存在多打一流量，导致网络产生拥塞或丢包；通知源端降速或重传，导致 GPUGPU空闲，算力损失 In-cast 流量 任务同步产生“多打一”流量，拥塞导致时延、抖动增加??方向：对每条流的多个数据包逐个进行负载分担，实现单流在全路径“喷洒”，提升有效带宽，更好应对突发流量方向：源端向目的端“请求”发送权限，基于网络转发能力的被动“拉”流，最大概率消除拥塞概率，优化长尾时延6业界智算中心高性能网络标准组织介绍---UEC 2023年7月19日，Linux基金会成立超以太网联盟