智算中心网络架构白皮书(2023).pdfVIP

引言 随着 AI 技术的逐步成熟和应用场景的不断丰富，人工智能产业正在迅速发展，AI 相关的产品与服务也在各行业中落地和 普及。企业通过人工智能技术提高生产力，进行数字智能化新范式转型的需求也更加迫切。人工智能技术目前已被广泛应 用于智慧金融、智能家居、智能医疗、智能交通、智能制造等领域。 大模型技术因其良好的通用性与泛化性，显著降低了人工智能应用的门槛，其溢出效应正在加速推进新一轮的科技革命和 社会产业的变革。近期，ChatGPT、文心一言等生成式人工智能应用的出现，使大模型的发展成为 AI 领域最重要的热点 趋势，越来越多的科技巨头竞相推出千亿、万亿参数的大模型。而训练超大参数规模的大模型也给智能计算基础设施带来 了前所未有的挑战。大模型的训练过程需要数千张 GPU 卡协同计算数周或数月，这就要求智能计算网络能够提供更强大 的性能和更高的稳定性与可靠性。因此，提供一种高速、低延迟且可扩展的网络互联方案成为了智能计算领域的重要课题。 通常，大中型政务、金融及企业客户对网络安全与数据隐私保护有着更严格的要求，需要通过私有云建设模式在自有数据 中心中构建自主可控的智能计算资源池，为人工智能的创新服务提供底层算力支持。智算网络作为智算中心基础设施的重 要组成部分，其选型、设计和建设方案是非常关键的环节，网络架构设计的合理性直接影响智算集群的性能、可靠性与稳 定性。智算网络的选型和建设阶段的典型问题包括： 1. 智算网络是复用当前的 TCP/IP 通用网络的基础设施，还是新建一张专用的高性能网络？ 2. 智算网络技术方案采用 InfiniBand 还是 RoCE ？ 3. 智算网络如何进行运维和管理？ 4. 智算网络是否具备多租户隔离能力以实现对内和对外的运营？ 本白皮书将分析智算业务对网络的核心需求，深入介绍智算网络的架构设计以及智算中心高性能网络的运维和运营管理方 案，并结合典型实践，提供智算网络选型建议，为客户建设面向大模型的智算中心提供网络建设、运维和运营参考。 智算中心网络架构白皮书 目录 CONTENTS 01 02 智算业务对网络的核心需求 智算网络方案选型 1.1 智算业务关键应用场景和案例 01 2.1 InfiniBand网络介绍 07 1.2 智算业务对网络的关键要求 03 2.2 RoCEv2网络介绍 12 2.3 InfiniBand和RoCEv2网络 17 方案对比 03 04 物理网络架构设计 智算高性能网络运维管理 3.1 传统云网络架构承载智算业务存 19 4.1 可视化网管系统 29 在的挑战 4.2 高精度流量采集 31 3.2 智算网络架构 20 4.3 数据可视化展示 32 3.3 智算网络可容纳的GPU卡的规模 22 4.4 智能化 33 3.4 物理网络设计典型实践 25 4.5 高性能网络运维典型实践 33 05 06 智算高性能网络运营管理 总结和展望 5.1 云平台产品化的多租户能力A I-VPC 35 总结和展望 40 5.2 In