第 2 节 · 本站原创中文课程 · 建议 25 分钟
02 · 五维并行:画出计算和通信
学完能做:按数据、张量、上下文、流水线与专家划分负载。
切分的对象不同
数据并行分样本,张量并行分层内矩阵计算,上下文并行分长序列,流水线并行分层或阶段,专家并行分 MoE 专家。序列并行与上下文并行的实现语义不总相同,规划时必须注明使用的框架与具体切法。
通信发生在哪里
张量并行可能需要 all-reduce、all-gather 或 reduce-scatter;流水线传递阶段激活及梯度;专家路由常涉及 all-to-all。上下文分片仍要处理跨分片注意力,不能把序列切开就当成彼此独立的样本。
先放得下,再减少等待
从模型形状、序列长度和硬件拓扑出发,优先安排通信紧密的组,再选择流水线微批数并测量气泡。GPipe、1F1B 和减少气泡的调度有不同的激活与通信成本,不应只比较名字。五个并行度不一定能不加说明地相乘,专家组有时嵌在其他组内。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。