第 1 节 · 本站原创中文课程 · 建议 25 分钟
01 · ZeRO 与 FSDP:先算清显存
学完能做:区分训练显存组成,解释分片减少了哪些副本。
显存不只是参数
训练要保存参数、梯度、优化器状态,还要留出激活、通信缓冲与临时工作区。混合精度有时还保留高精度主权重。先写清训练实现和字节数,再估算,不能把低精度权重文件大小当成训练峰值。
用一份账本理解三个阶段
设参数、梯度、优化器状态的字节数为 P、G、O,数据并行组大小为 N。普通数据并行每卡保存 P+G+O;理想化 ZeRO-1 为 P+G+O/N,ZeRO-2 为 P+(G+O)/N,ZeRO-3 为 (P+G+O)/N。这些只描述持久状态,未计激活和瞬时聚合。
FSDP 的关键是何时聚合
分片并没有让计算不再需要完整参数。按模块聚合参数、计算后释放,再进行梯度通信;包裹粒度、预取和重计算都会影响峰值与通信。FSDP 与 ZeRO-3 有相近的全分片思路,具体接口和调度仍需区分。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。