大模型场景下智算平台的设计与优化实践.pptx

大模型场景下智算平台的设计与优化实践2024.06.14

不同时期对智算平台的需求2引言客户B我的模型跑起来耗时长，能加速吗？客户A我资源比较少，几十卡的规模，如何提升卡的利用率？客户C我想跑大模型，需要多少资源？网络如何构建？多长时间能跑完？客户D国产卡怎么用？能否与NV卡一起使用目录01 大模型时代，智算平台新特点402智算平台需解决的问题603大模型场景技术实践804对于智算平台发展的未来思考25

01大模型时代，智算平台新特点小模型vs.大模型

小模型vs.大模型5大模型时代，智算平台新特点ResNet50（小模型）训练时长训练成本工程问题增强：参数爆炸突破显存墙，多机多卡成为常态增强：卡间和机间高性能通信愈发重要增强：耗时长凸显大模型训推加速需求新增：成本高带来稳定性需求，减少资源闲置维持：GPU切分在小模型和推理场景依然存在新增：新卡适配和芯片利旧，多芯混合调度新增：数据集处理加速新增：数据湖存储和高性能存储参数算力128块V100数据167G（ImageNet）158秒$1525M（0.025B）GPT-4（大模型）训练时长训练成本参数算力8192块H100数据13T55天$2150万1800Bvs.新要求*数据来源：非官方数据，为业界推测

基础设施、调度、应用、运维大模型场景下智算平台需解决的问题

基础设施、调度、应用、运维7智算平台需解决的问题基础设施调度应用算力存储网络适配多种异构芯片固件、OS内核、驱动兼容混合多芯优化存储读写性能镜像加速、镜像预铺搭建和调试高性能网络资源管理任务管理大规模异构算力高效调度和分配算力虚拟化多种AI框架和并行策略支持AI任务调度和任务流管理云原生容器化数据训练推理数据集下载和转储加速数据集的清洗和加工处理训练任务的性能优化任务的监控和容错FlashCheckpoint推理任务的性能优化在线服务的监控告警运维

03大模型场景技术实践基础设施层

国产卡能否与NV卡一起使用？9基础设施——混合多芯拟合性能系数统一并行策略AI效能矩阵图谱通信整合

10基础设施——高性能存储托管BCC/BBC集群MEMDISKMEMDISKMEMDISKMEMDISKTCP/InfiniBand/RoCE并行文件存储PFSTCP分布式缓存加速存储RapidFS对象存储BOS标准存储低频存储冷存储归档存储镜像加速超大镜像预加载P2P镜像分发流式镜像拉取训练数据加速高性能并行文件系统全SSD闪存RDMA链路加速模型加速大吞吐数据湖存储分布式缓存加速镜像服务流式读取P2P加速如何实现数据集加速？如何I/O加速？

11基础设施——高性能网络Tor拓扑感知调度NCCL通信拓扑感知3层无收敛RDMA网络Upto512Upto512Upto16K+如何实现通信库加速？

03大模型场景技术实践调度层

如何提高单卡资源利用率？13调度——GPU虚拟化用户态方案CUDAdriverAPI，提供显存限制，算力时分复用CUDAruntimeAPI，提供远程调用，显存限制，算力时分复用内核态方案内核模块修改，提供显存限制，算力时分复用Full/para-虚拟化，内核模块修改，MMIO拦截，显存划分，算力时分复用NV官方，硬件划分，提供显存划分、算力划分、编解码划分（1/7）硬件方案SR-IOV，硬件划分，提供显存划分、算力划分（1/3、1/2）NvidiaMIG昆仑2SR-IOV

双引擎GPU虚拟化14调度——GPU虚拟化优势：性能好，长尾延迟低缺点：故障隔离差优势：故障隔离好缺点：有一定性能损耗用户态内核态

如何调度资源？15调度——资源管理和调度逻辑PodPodPodPodGroup入队资源分配资源回收资源抢占回填调度会话插件集合Gang调度Gang抢占Binpack/Spread调度亲和性调度GPU拓扑Tor架构感知混部调度多租户资源管理选择最优调度集群资源视图CPU/MEM异构芯片(独占/共享)RDMA自定义资源配额管理资源调度

03大模型场景技术实践应用层

17应用——AIAK训推加速算子优化显存优化并行优化算子优化算子融合图精简算子融合注意力机制优化调度优化模板化优化显存重算显存卸载细粒度显存切分数据并行优化张量并行优化流水线并行优化访存密集型算子融合GEMM/Conv长尾运算融合背靠背GEMM 融合数学等价代换/死代码移除量化/剪枝/蒸馏训练性能提升30%+推理性能提升60%+如何优化训练和推理性能？兼容Llama2、ChatGLM2等20余种开源模型，一键部署，透明加速大模型训练加速镜像 大模型推理加速镜像访存优化

如何提升训练