第 1 节 · 本站原创中文课程 · 建议 25 分钟

01 · ZeRO 与 FSDP:先算清显存

学完能做:区分训练显存组成,解释分片减少了哪些副本。

显存不只是参数

训练要保存参数、梯度、优化器状态,还要留出激活、通信缓冲与临时工作区。混合精度有时还保留高精度主权重。先写清训练实现和字节数,再估算,不能把低精度权重文件大小当成训练峰值。

用一份账本理解三个阶段

设参数、梯度、优化器状态的字节数为 P、G、O,数据并行组大小为 N。普通数据并行每卡保存 P+G+O;理想化 ZeRO-1 为 P+G+O/N,ZeRO-2 为 P+(G+O)/N,ZeRO-3 为 (P+G+O)/N。这些只描述持久状态,未计激活和瞬时聚合。

FSDP 的关键是何时聚合

分片并没有让计算不再需要完整参数。按模块聚合参数、计算后释放,再进行梯度通信;包裹粒度、预取和重计算都会影响峰值与通信。FSDP 与 ZeRO-3 有相近的全分片思路,具体接口和调度仍需区分。

这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。

参考来源:Jia-Bin Huang · AI Training and Inference

动手,把理解变成成果

本节练习

正在读取本机草稿…

假设 P=2 GB、G=2 GB、O=12 GB,N=4。计算四种持久状态估计,再列出不能据此断言模型能装下的三个原因。

38 / 6000 字。本页不执行代码;可下载后在本地运行,或用 Agent 获取定性建议。

给我一个提示

分别只除以已经分片的项,不把所有数据直接除以卡数。

查看参考思路(本站预写,非实时 Agent)

依次为 16、7、5.5、4 GB。仍需激活、参数临时聚合和通信缓冲;实际峰值应测量,GB 与 GiB 口径须统一。

人工自评:逐项核对自己的作品

这些勾选由你确认,不是自动测试结果。遇到待测项,请在作品里明确注明。

理解自测

ZeRO-3 的持久状态估计小于显存,就一定能训练吗?

自己的学习笔记

0 / 3000 字 · 仅保存在此浏览器

围绕当前章节学习

Agent 答疑与作品评价

正在检查连接…

本站讲解、提示、参考思路和自测可独立使用。连接模型服务后,才能实时提问或评价;这里不会把预写内容伪装为 Agent 回答。

走完学习闭环

完成本节

保留练习、勾选人工自评并通过自测后,可记录完成。修改作品或答案会重新打开本节。

课程进度:0 / 9 · 本机记录,不是外部官方证书