薛金宝-腾讯AngelPTM大模型训练框架优化与实践支撑混元大模型训练的训练框架.pdf

腾讯AngelPTM大模型训练框架优化与实践

支撑混元大模型训练的训练框架

空白演示

Loremipsumdolorsitamet,consecteturadipisicingelit.

薛金宝

2024.6

1大模型发展趋势和训练面临的挑战

3

大模型成为人工智能发展的重要方向

模型参数规模

指数级增长

•生成式大模型突飞猛进，5年时间，模型参数规模增长100万倍，达到万亿量级

•ScalingLaw[1]：数据越多、模型越大，模型学习能力越强，模型效果越好

[1]OpenAI“ScalingLawsforNeuralLanguageModels”,/abs/2001.08361,2020

大模型发展趋势-模态变化

文生文文生图文生视频多模态全模态

ChatGPTStableDiffusionSoraGPT4V

GPT5

Llama3DiTSTDiTGemini

大模型发展趋势-MOE以及更长ContextWindow

Expert1Expert2…Expert16

FFN层门控模块

120层

Self-Attention层（共享参数）模型容量/效果

Decoder-Only模型参数量越大效果越好

相同激活参数量，MoE更好

总参量：~1.8T

训练数据：~13TTokens训练/推理成本

激活2个Expert(111B参数/Expert)成本低，e.g.,GLaM[1]训练成本相当于GPT-3的1/3，

Self-Attention层是55B的共享参数推理成本相当于GPT-3的1/2，但效果超过GPT-3

ContextWindow，最初是8K，逐步精调至32K

终身学习

[1]GLaM:EfficientScalingofLanguageModelswithMixture-of-Experts各类数据，知识和特征分布不同，容易出现知识干扰和

[2]SwitchTransformers:ScalingtoTrillionParameterModelswithSimpleandEfficientSparsity遗忘

[3]LifelongLanguagePretrainingwithDistribution-SpecializedExpertsDense模型数据的配比挑战很大，配比小的数据很难表

[4]/gpt-4-architecture-datasets-costs-and-more-leaked/

现较好

大模型训练的挑战

显存需