9–10 月 · Lec 3–11
高效推理
Efficient Inference
怎样让模型更小,并在目标设备上真正跑得更快?
从经典压缩方法走到微控制器部署,把算法优化与硬件约束放在一起理解。
6.5940 / TINYML AND EFFICIENT AI COMPUTING
从微控制器上的 TinyML,到笔记本上的大语言模型。这门课把模型压缩、硬件约束和系统优化串成一条完整的学习路线。
WHY THIS COURSE
模型精度只是起点。实际部署还受到内存、算力、功耗、带宽和响应时间的限制。MIT 6.5940 关注的正是这些条件下,深度学习怎样进入真实设备与产品。
课程由 MIT HAN Lab 的 Song Han 与 Shang Yang 授课。它的学习价值在于把经典压缩方法、现代模型优化和训练系统联系起来,再通过 Lab 验证理解,最终走向本地 LLM 部署与研究项目。
学习时可以始终带着一个问题:一次优化究竟减少了什么成本,又牺牲了什么?用相同的硬件和评测条件做对照,才能判断改进是否有效。
COURSE MAP
按 2026 官方课表整理。后续讲次的课件与视频随授课推进发布,具体安排以官网为准。
9–10 月 · Lec 3–11
Efficient Inference
怎样让模型更小,并在目标设备上真正跑得更快?
从经典压缩方法走到微控制器部署,把算法优化与硬件约束放在一起理解。
10–11 月 · Lec 12–18
Model Optimization for Generative AI
换成 LLM、视觉模型和扩散模型,效率瓶颈会怎样变化?
将通用方法放到具体模型形态中,建立架构、工作负载与优化方法之间的联系。
11 月 · Lec 19–21
Efficient Training
除了推理,训练和端侧适配的成本怎样降低?
把视角移到计算资源、通信和内存的协同,理解训练效率的系统性约束。
12 月 · 嘉宾讲座与项目展示
Advanced Topics
怎样把一个优化想法变成可验证、可复现的研究结果?
用项目收尾:明确问题、建立基线、设计实验,再解释改进来自哪里。
START LEARNING
以下资源链接来自官方课表与 MITHANLab 官方频道;“学习关注点”为本站导读。本轮新增第 13 讲 LLM 部署的 84 页课件、第 14 讲后训练的 88 页课件及对应视频入口,前 14 讲已有实际课件与视频链接。视频入口不代表已验证实际播放。后续长上下文等讲次仅有安排或返回课程页的占位链接时,不计为已发布材料。
Lec 1 ·
为什么 AI 需要更高效的计算?
学习关注点:建立整门课的问题地图:模型能力之外,还要关注计算、内存、延迟与部署条件。
Lec 2 ·
补齐深度学习基础
学习关注点:复习网络、训练和推理的基本概念,为后续分析压缩方法的效果与代价做准备。
Lec 3 ·
剪枝与稀疏性:入门
学习关注点:理解哪些参数或结构可以移除,并区分模型变小、计算减少与实际运行加速。
Lec 4 ·
剪枝与稀疏性:进阶
学习关注点:继续比较剪枝方案与精度恢复过程,思考稀疏结构怎样与真实硬件配合。
Lec 5 ·
量化:用更少的位表示模型
学习关注点:把位宽、数值范围和量化误差联系起来,理解低精度计算为什么能节省存储。
Lec 6 ·
量化:从数值方法走向部署
学习关注点:进一步思考如何控制精度损失,并用真实运行结果验证量化带来的收益。
Lec 7 ·
神经架构搜索:在资源约束下选择网络
学习关注点:把搜索空间、搜索方法与效率约束联系起来,思考怎样同时评价精度和部署成本。
Lec 8 ·
神经架构搜索:比较效率与精度
学习关注点:结合延迟、能耗与存储约束比较网络结构,理解架构选择怎样影响模型的实际部署。
Lec 9 ·
知识蒸馏:让小模型向大模型学习
学习关注点:比较教师与学生的匹配目标,理解自蒸馏、在线蒸馏与网络增广,再用精度和部署成本检验小模型的收益。
Lec 10 ·
在微控制器上部署微型 AI
学习关注点:将模型结构、运行内存与微控制器资源约束结合起来,比较微型视觉、音频和时序任务的部署方法。
Lec 11 ·
从并行计算到高效推理引擎
学习关注点:结合边缘设备资源约束,比较循环优化、SIMD、多线程、CUDA 和卷积推理优化,理解计算加速与内存访问之间的关系。
Lec 12 ·
理解大语言模型的架构与计算
学习关注点:建立 Transformer 与 LLM 的架构地图,把模型结构与计算、内存需求联系起来,为后续量化和部署优化做准备。
Lec 13 ·
量化、稀疏与部署:把优化变成实际收益
学习关注点:结合 SmoothQuant、AWQ / TinyChat 与 QServe,比较量化和稀疏方法;联系 PagedAttention、连续批处理与投机解码分析服务延迟和吞吐。课件标题为 LLM Deployment Techniques,共 84 页。
Lec 14 ·
理解后训练的能力、成本与取舍
学习关注点:把监督微调、RLHF 与推理训练连成一条路线,再比较 LoRA、QLoRA 等参数高效微调方法。用 88 页课件梳理数据、奖励、计算成本与模型表现之间的关系。
LEARN BY BUILDING
课程以实践与项目作为要求。下面按官网 Logistics 中的五个 Lab 主题整理,具体题目、发布链接与提交要求请跟随官方课表。
已公开 · 2026-10-16 核对
官方 notebook 提供细粒度剪枝与通道剪枝练习,共 11 道编号题。学习时同时记录精度、模型大小与实际推理延迟,比较“参数减少”和“真实加速”的差别。
已验证 notebook 可匿名下载;在 Colab 执行或保存副本可能需要 Google 账号。其他 Lab 的主题列在下方,实际资源以官方发布为准。
已公开 · 2026-10-18 核对
完整 notebook 含 66 个单元、10 道练习。以 MCUNetV2 / OFA 超网络和 Visual Wake Words 数据集为背景,依次探索搜索空间、实现效率与精度预测器,再比较随机搜索和进化搜索。最后在计算量与内存限制下寻找网络,记录精度与资源消耗的取舍。
官方课表将截止日期从 10 月 27 日调整为 10 月 29 日(MIT 当地日期);具体提交时刻以官方要求为准。可先结合第 7、8 讲 NAS 课件学习,再完成预测器与搜索算法练习。
已验证 notebook 可匿名下载;文件由 2026 秋季官网链接,保留往届出处。本站未执行实验,也未验证其外部模型和数据依赖;在 Colab 执行或保存副本可能需要 Google 账号。
已公开 · 2026-11-02 核对
官方 notebook 含 91 个单元、6 道主题练习。前半部分实现线性量化,后半部分为 OPT-1.3B 实现 4-bit 权重量化与 AWQ;两部分各 50 分。建议结合第 5、6、13 讲,记录精度、模型大小和运行成本,解释量化方案的取舍。
课表标注 10 月 27 日发布、11 月 5 日截止(MIT 当地日期)。notebook 已确认可匿名下载;本站未运行实验或验证外部模型依赖,在 Colab 执行或保存副本可能需要 Google 账号。
从 GPU 编程与硬件执行方式开始,补齐理解加速的底层视角。
实现细粒度与通道剪枝,比较精度、模型大小和实际推理延迟。Lab 2 已公开。
实现效率与精度预测器,比较随机搜索和进化搜索。Lab 3 已公开,练习同时约束计算量与内存。
动手理解低精度表示,把精度、模型大小与部署收益联系起来。
在自己的笔记本上部署语言模型,形成可演示的工程成果。
BEFORE YOU START
官方先修要求为 6.191(Computation Structures)与 6.390(Intro to Machine Learning)。这是一门高阶课程,适合已有基础、想继续研究压缩与部署的学习者。
建议先理解神经网络、损失函数、反向传播和训练 / 推理的区别,能用深度学习框架完成一次基本训练与评测。
建议先理解计算量、内存容量与带宽、并行执行等基本概念,知道“理论计算减少”与“设备实际加速”可能不同。
如果刚开始接触 AI,先从本站学习路径补基础。使用公开材料自学,与 MIT 正式注册、评分和学分是不同的学习方式。
YOUR STUDY ROUTE
以下是自学建议,便于把课程主题转成可检查的成果;具体 Lab 内容以 MIT 发布的题目为准。
先看前两讲,选择一个熟悉的小模型。记录硬件、软件版本、精度、模型大小和推理延迟,作为之后所有实验的参照。
学习成果 · 一份可复现的基线记录
学完一个方法就做一个小实验。一次只改变一个变量,同时记录精度与实际延迟;参数变少不等于硬件一定更快。
学习成果 · 一张优化前后的对比表
关注边缘设备就继续 MCUNet / TinyEngine;关注大模型就继续 LLM 量化、部署与长上下文。新讲次未发布时,可先参考往届资料。
学习成果 · 一个明确的设备与模型组合
以课程 Lab 为实践入口,记录模型、量化格式、内存占用、加载时间与生成速度。能运行之后,再定位真实瓶颈。
学习成果 · 一个可演示的本地模型
围绕一个具体问题复现实验,保留脚本和结果。尝试写出问题、方法、基线、实验与局限,而不只展示最终数值。
学习成果 · 实验仓库与简短技术报告
本页为 Learn traeai 中文整理与自学导览,课程、课件与视频版权归原作者。官方课表资源于 2026-11-02 核对,后续发布请以官网为准。
查看 MIT 2026 秋季其他 AI 课程与进展 →