标签:分布式训练

同一主题下的文章、视频与资源。

1 篇内容
AI 前沿

大模型预训练:3D并行后,框架与Scaling Law落地

从数据并行、张量并行和流水线并行组成的 3D 并行出发,梳理预训练进入万卡集群后的框架落地、协同调度与 Scaling Law 实践。重点解释并行维度如何映射到训练流程,以及怎样用可验证的实验建立扩展判断,读完可形成一份工程检查清单。

阿凡达的技术博客