大模型预训练:3D并行后,框架与Scaling Law落地
从数据并行、张量并行和流水线并行组成的 3D 并行出发,梳理预训练进入万卡集群后的框架落地、协同调度与 Scaling Law 实践。重点解释并行维度如何映射到训练流程,以及怎样用可验证的实验建立扩展判断,读完可形成一份工程检查清单。
文章目录
大模型预训练进入万卡集群后,真正难的往往不再是“把模型拆开”本身,而是让数据并行、张量并行和流水线并行组成的 3D 并行稳定协同,并把框架里的通信、调度与状态管理接成一条训练链路。并行策略决定能力上限,框架工程决定方案能否落地。
这篇内容沿着“策略—框架—验证”展开:先拆清 3D 并行各管什么,再看训练框架应承接哪些职责,最后把 Scaling Law 变成可复现、可比较的工程判断。读完后,你会得到一份职责对照表、一段可运行的并行度校验代码,以及一套扩展实验检查清单。
1、3D 并行解决的是“怎么拆”,不是“怎么跑稳”
1、3D 并行解决的是“怎么拆”,不是“怎么跑稳” · AI 生成示意图
先给 3D 并行一个简单坐标。按分布式训练的一般定义,数据并行处理不同训练数据,张量并行拆分单层张量计算,流水线并行拆分模型层与执行阶段。三者不是互斥方案,而是可以在同一训练任务中组合的三个维度。
| 并行维度 | 一般拆分对象 | 主要协同对象 | 组合后的意义 |
|---|---|---|---|
| 数据并行 | 训练数据批次 | 模型副本与数据供给 | 扩展数据处理规模 |
| 张量并行 | 单层张量计算 | 同一层内的设备通信 | 承接单层跨设备计算 |
| 流水线并行 | 模型层与执行阶段 | 阶段间的任务交接 | 承接模型深度拆分 |
| 3D 并行 | 三类维度同时组合 | 全局资源与通信 | 组织大规模预训练 |
组合后最容易忽略的一点,是并行度必须和全局设备数保持一致的数学关系。如果只采用数据并行、张量并行和流水线并行三个维度,可以用“全局设备数 = 数据并行度 × 张量并行度 × 流水线并行度”做基础校验。
这个式子不是完整调度方案,具体框架若有额外维度,以原文为准;它至少能先挡住明显不整除的配置。先验证拓扑,再讨论性能。
2、框架落地:把并行策略变成训练流程
2、框架落地:把并行策略变成训练流程 · AI 生成示意图
训练框架不是并行策略的代名词,而是把策略变成训练循环的中间层。按一般工程视角,它通常要承接并行组划分、任务放置、通信集合、数据推进、状态保存与异常观测。原文涉及的具体框架能力和配置边界,以原文为准。
| 并行策略 | 框架需要回答的问题 | 建议保留的观测 |
|---|---|---|
| 数据并行 | 每个并行副本拿到什么数据,参数如何保持一致 | 数据推进与同步等待 |
| 张量并行 | 哪些设备属于同一张量并行组 | 组内通信与计算等待 |
| 流水线并行 | 哪些模型阶段落在哪些设备 | 阶段推进与空闲等待 |
| 3D 并行 | 三种并行度如何与全局资源对齐 | 组合配置与拓扑关系 |
下面这段 Python 脚本只做基础拓扑校验,不会替代完整训练框架。运行时,将全局设备数、张量并行度和流水线并行度分别传入 --world-size、--tensor-degree 与 --pipeline-degree。
import argparse
def positive_int(text):
value = int(text)
if value <= 0:
raise argparse.ArgumentTypeError("并行度必须为正整数")
return value
def main():
parser = argparse.ArgumentParser(
description="校验 3D 并行度是否整除全局设备数"
)
parser.add_argument("--world-size", required=True, type=positive_int)
parser.add_argument("--tensor-degree", required=True, type=positive_int)
parser.add_argument("--pipeline-degree", required=True, type=positive_int)
args = parser.parse_args()
model_parallel = args.tensor_degree * args.pipeline_degree
if args.world_size % model_parallel != 0:
raise SystemExit(
f"无法整除:world_size={args.world_size}, "
f"tensor_degree={args.tensor_degree}, "
f"pipeline_degree={args.pipeline_degree}"
)
data_degree = args.world_size // model_parallel
print(f"data_parallel={data_degree}")
print(f"tensor_parallel={args.tensor_degree}")
print(f"pipeline_parallel={args.pipeline_degree}")
if __name__ == "__main__":
main()
这段代码的价值不在于替代训练框架,而在于把模糊的“并行方案”变成明确约束。实际运行还要把进程组、节点映射和故障处理交给框架,具体实现以原文为准。框架落地的第一道门槛,是策略表达与实际拓扑一致。
3、真正的瓶颈:通信、负载与故障会被放大
3D 并行完成拆分后,还要面对组合后的系统摩擦。排查时,一般会分别观察数据侧的数据供给、张量侧的层内通信,以及流水线侧的阶段推进。把它们混成一句“通信开销”,很容易丢掉定位信息。
先判断是哪一类并行在放大,再决定改框架还是改策略。
| 观察面 | 先看什么 | 容易误判的地方 | 更合适的动作 |
|---|---|---|---|
| 数据供给 | 数据是否持续到位 | 把等待全部归因于计算 | 分开统计数据等待与计算时间 |
| 张量并行 | 并行组内是否出现通信等待 | 默认所有等待都来自网络 | 对照组内通信与计算状态 |
| 流水线并行 | 哪些阶段出现空闲 | 利用率低就立即增加设备 | 先检查阶段推进关系 |
| 全局训练 | 训练过程与结果是否一致可查 | 单次结果就能证明扩展规律 | 保留日志并做重复验证 |
可以把一次训练迭代拆成数据就绪、计算、通信、阶段切换和记录几个观察窗口,再对照异常发生后的处理路径。不同框架的指标名称与采集方式通常不同,不能直接横向比较;原文中的监控与容错细节,应以其实际方案为准。
工程优化也因此不能只看最终速度。一个并行方案即使能够跑完,也可能长期停在等待、恢复或重复加载阶段。稳定性不是跑通之后的附加项,而是训练框架的基础能力。
4、Scaling Law 落地:把“变大”变成可验证的决策
Scaling Law 落到预训练工程,重点不是背一条曲线,而是知道曲线在哪些条件下成立。按一般理解,它关注规模投入与训练结果之间的关系:模型、数据与计算资源怎样变化,效果如何响应。原文采用的变量、实验口径与结论边界,以原文为准。
| 要做的决策 | 需要留下的证据 | 合格输出 |
|---|---|---|
| 判断规模趋势 | 改变规模时的可比训练结果 | 带适用范围的趋势描述 |
| 定位系统瓶颈 | 同一任务下的计算与等待记录 | 可以定位的瓶颈类型 |
| 验证可复现性 | 关键配置、数据口径和评测方式 | 可重复执行的实验说明 |
| 规划下一轮扩展 | 已验证结果与未验证边界 | 有条件的扩展计划 |
每次实验至少要固定可比条件,记录并行度、训练配置、数据处理方式、训练过程与评测口径,并区分模型变化和系统效率变化。只改变需要研究的关键变量,控制其他条件,结果才具有解释力。
还要主动给结论加边界:观察到的趋势只说明已经测试的条件,不能自动外推到另一并行配置、另一数据阶段或另一评测口径。更稳的做法,是先完成可重复验证,再把结果接回整体扩展计划。Scaling Law 不是预测承诺,而是带条件的决策地图。
写在最后
- 3D 并行负责拆分模型,框架负责让拆分后的任务真正运行起来。
- 通信、调度与观测不是附加项,而是并行方案能否成立的一部分。
- Scaling Law 提供带条件的规模判断,不能脱离实验口径直接外推。
- 先校验拓扑,再验证趋势,最后扩大投入,顺序比口号更重要。
我的判断是: 大模型预训练工程的重点,正在从“会不会切分模型”,转向能否把并行策略、训练框架和扩展规律连成闭环。
相关阅读
文中链接
整理自本文的外部链接,请以来源页面说明为准。