蒜粒
蒜粒圈

多卡训练并行怎么选:数据并行、张量并行、流水线并行

训练上多卡,第一步不是加卡数量,而是选并行策略。三条路线解决的是不同瓶颈。 数据并行:每张卡放一份完整模型,各自跑不同 batch,再同步梯度。最容易上手、扩展性好,但每张卡都得装得下整个模型,模型一大就撞显存墙;卡越多,梯度同步的通信也越重。 张量并行:把一个层里的矩阵切到多张卡上,适合单层就很大的模型。它能把单卡装不下的层拆开,但卡间通信非常频繁,要求高带宽互联,通常用在同一台机器内的 NVLink 这类链路上。 流水线并行:把模型按层切成几段,不同段放在不同卡上,像流水线一样交替处理 micro-batch。它降低了单卡显存压力,但会产生气泡,需要足够的 batch 才能填满。 实践里通常是混合:节点内用张量并行,节点间用流水线并行,最外层再叠数据并行。 选型顺序可以这样:先看模型能不能单卡放下;放不下就判断是单层太大还是层数太多;再根据互联带宽决定并行维度;最后用吞吐和小 batch 延迟一起评估。

0 条跟帖

登录后可以回复讨论

还没有跟帖,欢迎写下第一条。