第 7 节 · 本站原创中文课程 · 建议 25 分钟

07 · AdamW:给优化建立可信基线

学完能做:区分自适应更新与解耦权重衰减。

一阶和二阶统计各管什么

动量累计方向,RMSProp 和 Adam 引入梯度平方统计来调整步长。Adam 还包含偏差修正及数值稳定项,比较实现时需列出 beta、epsilon 和精度设置。

解耦究竟解了什么

把 L2 项放进梯度会让它也经过自适应缩放;AdamW 将权重衰减与这一缩放分开。在一个简化约定下,衰减部分为 θ←(1−ηλ)θ,再施加自适应梯度更新。具体排除哪些参数需按实验配置说明。

默认选择也要调参

学习率、衰减、预热、批量与训练预算共同决定结果。AdamW 作为基线的价值在于成熟且便于对照,不代表对所有模型自动最优。固定数据顺序和计算预算,保存学习率曲线与验证集结果。

这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。

参考来源:Jia-Bin Huang · AI Training and Inference

动手,把理解变成成果

本节练习

正在读取本机草稿…

假设 θ=10、学习率 0.01、weight decay=0.1、自适应梯度更新项为零。计算一次解耦衰减,并列出优化器基线记录字段。

47 / 6000 字。本页不执行代码;可下载后在本地运行,或用 Agent 获取定性建议。

给我一个提示

这里只计算 10×(1−0.01×0.1),不额外引入梯度。

查看参考思路(本站预写,非实时 Agent)

结果为 9.99。记录 beta、epsilon、精度、参数分组和学习率调度;固定验证集与 token 预算进行比较。

人工自评:逐项核对自己的作品

这些勾选由你确认,不是自动测试结果。遇到待测项,请在作品里明确注明。

理解自测

AdamW 的解耦指什么?

自己的学习笔记

0 / 3000 字 · 仅保存在此浏览器

围绕当前章节学习

Agent 答疑与作品评价

正在检查连接…

本站讲解、提示、参考思路和自测可独立使用。连接模型服务后,才能实时提问或评价;这里不会把预写内容伪装为 Agent 回答。

走完学习闭环

完成本节

保留练习、勾选人工自评并通过自测后,可记录完成。修改作品或答案会重新打开本节。

课程进度:0 / 9 · 本机记录,不是外部官方证书

← 上一节:06 · GRPO:奖励和优势不能含糊