← 全部站内专题

本站原创 · Model · 高级

AI Training and Inference · 训推基础伴学

沿着显存、并行、低成本适配、解码、蒸馏、强化学习、优化器与服务部署学习模型训推。9 节原创中文导读,配套推演练习、自测、笔记与进度记录;作者视频通过原平台观看。

适合:具备 Python、PyTorch、线性代数和深度学习基础的大学生与成人学习者。9 节,每节建议约 25 分钟,按自己的节奏学习。

官方课程 · 本站中文伴学

9 个主题 · 从单卡显存到在线服务

讲师:Jia-Bin Huang(@jbhuang0604);本站独立编写中文伴学

依据分享者提供的 9 集目录整理,所报视频总长约 230 分钟;第 9 集 LLM Serving 被标注为会员内容。作者身份与频道入口已核对,合集短链接及逐集开放状态尚待核实,集数、时长、顺序与会员权益以作者页面为准。本站不将其标为大学正式课程或全部免费视频。

每节 25 分钟为本站导读与练习的建议时间,不含视频和本地实验。中文导读、模拟练习和自测免费;不依赖购买会员才能完成。本站不执行 GPU 训练,不复制或解锁会员视频。性能收益与硬件需求必须在固定模型、精度和任务上实测。

资料核对:2026-10-31 · 视频请通过上方作者入口观看,开放范围见课程说明

从第一步到最终作品

  1. 第 1 节 · 25 分钟

    01 · ZeRO 与 FSDP:先算清显存 →

    区分训练显存组成,解释分片减少了哪些副本。

  2. 第 2 节 · 25 分钟

    02 · 五维并行:画出计算和通信 →

    按数据、张量、上下文、流水线与专家划分负载。

  3. 第 3 节 · 25 分钟

    03 · LoRA 家族:降低适配成本 →

    区分训练参数、量化骨干与低秩更新的成本。

  4. 第 4 节 · 25 分钟

    04 · 投机解码:快,同时保持分布 →

    用小概率表理解草稿、验证与拒绝采样。

  5. 第 5 节 · 25 分钟

    05 · On-policy 蒸馏:在学生轨迹上教 →

    解释轨迹来源、教师监督和 KL 方向。

  6. 第 6 节 · 25 分钟

    06 · GRPO:奖励和优势不能含糊 →

    从组内相对奖励理解优势,并识别奖励退化。

  7. 第 7 节 · 25 分钟

    07 · AdamW:给优化建立可信基线 →

    区分自适应更新与解耦权重衰减。

  8. 第 8 节 · 25 分钟

    08 · Muon 与 MuonClip:矩阵更新的取舍 →

    区分矩阵正交化、参数分组和注意力稳定化。

  9. 第 9 节 · 25 分钟 · 项目交付

    09 · LLM Serving:从单次生成到服务 →

    建立 KV cache、批处理与服务延迟的基本验收框架。

参考来源与内容说明

本专题的讲解、示例、练习和测验由本站独立编写,参考 Jia-Bin Huang · AI Training and Inference。本站内容不等同于官方全部课程或认证。学习本站专题无需跳转;如需官方视频、作业和证书,可按需查看原平台。

查看官方参考课程 ↗