MIT · 2026 秋季 高级 · 公开视频与课件

6.5940 / TINYML AND EFFICIENT AI COMPUTING

让 AI 跑得动、跑得快、跑得起

从微控制器上的 TinyML,到笔记本上的大语言模型。这门课把模型压缩、硬件约束和系统优化串成一条完整的学习路线。

WHY THIS COURSE

把“效率”当作一门完整的工程学科

模型精度只是起点。实际部署还受到内存、算力、功耗、带宽和响应时间的限制。MIT 6.5940 关注的正是这些条件下,深度学习怎样进入真实设备与产品。

课程由 MIT HAN Lab 的 Song Han 与 Shang Yang 授课。它的学习价值在于把经典压缩方法、现代模型优化和训练系统联系起来,再通过 Lab 验证理解,最终走向本地 LLM 部署与研究项目。

学习时可以始终带着一个问题:一次优化究竟减少了什么成本,又牺牲了什么?用相同的硬件和评测条件做对照,才能判断改进是否有效。

你可以带走的能力

  • 理解压缩:把剪枝、量化、蒸馏与架构搜索放进同一张知识地图。
  • 理解部署:根据设备和模型选择优化方向,并用实测数据验证。
  • 理解研究:从基线、实验到报告,形成可复现的工程论证。

COURSE MAP

四章递进,从推理走向训练与研究

按 2026 官方课表整理。后续讲次的课件与视频随授课推进发布,具体安排以官网为准。

9–10 月 · Lec 3–11

高效推理

Efficient Inference

怎样让模型更小,并在目标设备上真正跑得更快?

剪枝与稀疏性量化神经架构搜索 NAS知识蒸馏MCUNetTinyEngine 与并行处理

从经典压缩方法走到微控制器部署,把算法优化与硬件约束放在一起理解。

10–11 月 · Lec 12–18

生成式 AI 模型优化

Model Optimization for Generative AI

换成 LLM、视觉模型和扩散模型,效率瓶颈会怎样变化?

Transformer 与 LLMLLM 量化与部署LLM Post-Training长上下文Vision Transformer扩散模型

将通用方法放到具体模型形态中,建立架构、工作负载与优化方法之间的联系。

11 月 · Lec 19–21

高效训练

Efficient Training

除了推理,训练和端侧适配的成本怎样降低?

分布式训练数据与模型并行梯度通信设备端训练迁移学习

把视角移到计算资源、通信和内存的协同,理解训练效率的系统性约束。

12 月 · 嘉宾讲座与项目展示

进阶专题与研究项目

Advanced Topics

怎样把一个优化想法变成可验证、可复现的研究结果?

嘉宾讲座项目提案海报展示期末研究报告

用项目收尾:明确问题、建立基线、设计实验,再解释改进来自哪里。

START LEARNING

已公开:14 讲课件与视频入口

截至 2026-11-02 核对

以下资源链接来自官方课表与 MITHANLab 官方频道;“学习关注点”为本站导读。本轮新增第 13 讲 LLM 部署的 84 页课件、第 14 讲后训练的 88 页课件及对应视频入口,前 14 讲已有实际课件与视频链接。视频入口不代表已验证实际播放。后续长上下文等讲次仅有安排或返回课程页的占位链接时,不计为已发布材料。

Lec 1 ·

Introduction

为什么 AI 需要更高效的计算?

学习关注点:建立整门课的问题地图:模型能力之外,还要关注计算、内存、延迟与部署条件。

Lec 2 ·

Basics of Deep Learning

补齐深度学习基础

学习关注点:复习网络、训练和推理的基本概念,为后续分析压缩方法的效果与代价做准备。

Lec 3 ·

Pruning and Sparsity · Part I

剪枝与稀疏性:入门

学习关注点:理解哪些参数或结构可以移除,并区分模型变小、计算减少与实际运行加速。

Lec 4 ·

Pruning and Sparsity · Part II

剪枝与稀疏性:进阶

学习关注点:继续比较剪枝方案与精度恢复过程,思考稀疏结构怎样与真实硬件配合。

Lec 5 ·

Quantization · Part I

量化:用更少的位表示模型

学习关注点:把位宽、数值范围和量化误差联系起来,理解低精度计算为什么能节省存储。

Lec 6 ·

Quantization · Part II

量化:从数值方法走向部署

学习关注点:进一步思考如何控制精度损失,并用真实运行结果验证量化带来的收益。

Lec 7 ·

Neural Architecture Search · Part I

神经架构搜索:在资源约束下选择网络

学习关注点:把搜索空间、搜索方法与效率约束联系起来,思考怎样同时评价精度和部署成本。

Lec 8 ·

Neural Architecture Search · Part II

神经架构搜索:比较效率与精度

学习关注点:结合延迟、能耗与存储约束比较网络结构,理解架构选择怎样影响模型的实际部署。

Lec 9 ·

Knowledge Distillation

知识蒸馏:让小模型向大模型学习

学习关注点:比较教师与学生的匹配目标,理解自蒸馏、在线蒸馏与网络增广,再用精度和部署成本检验小模型的收益。

Lec 10 ·

MCUNet and TinyML

在微控制器上部署微型 AI

学习关注点:将模型结构、运行内存与微控制器资源约束结合起来,比较微型视觉、音频和时序任务的部署方法。

Lec 11 ·

TinyEngine and Parallel Processing

从并行计算到高效推理引擎

学习关注点:结合边缘设备资源约束,比较循环优化、SIMD、多线程、CUDA 和卷积推理优化,理解计算加速与内存访问之间的关系。

Lec 12 ·

Transformer and LLM

理解大语言模型的架构与计算

学习关注点:建立 Transformer 与 LLM 的架构地图,把模型结构与计算、内存需求联系起来,为后续量化和部署优化做准备。

Lec 13 ·

LLM Quantization and Deployment

量化、稀疏与部署:把优化变成实际收益

学习关注点:结合 SmoothQuant、AWQ / TinyChat 与 QServe,比较量化和稀疏方法;联系 PagedAttention、连续批处理与投机解码分析服务延迟和吞吐。课件标题为 LLM Deployment Techniques,共 84 页。

Lec 14 ·

LLM Post-Training

理解后训练的能力、成本与取舍

学习关注点:把监督微调、RLHF 与推理训练连成一条路线,再比较 LoRA、QLoRA 等参数高效微调方法。用 88 页课件梳理数据、奖励、计算成本与模型表现之间的关系。

LEARN BY BUILDING

5 个 Lab + 期末项目,无考试

课程以实践与项目作为要求。下面按官网 Logistics 中的五个 Lab 主题整理,具体题目、发布链接与提交要求请跟随官方课表。

已公开 · 2026-10-16 核对

Lab 2:Pruning · 剪枝实践

官方 notebook 提供细粒度剪枝与通道剪枝练习,共 11 道编号题。学习时同时记录精度、模型大小与实际推理延迟,比较“参数减少”和“真实加速”的差别。

已验证 notebook 可匿名下载;在 Colab 执行或保存副本可能需要 Google 账号。其他 Lab 的主题列在下方,实际资源以官方发布为准。

已公开 · 2026-10-18 核对

Lab 3:Neural Architecture Search · 神经架构搜索

完整 notebook 含 66 个单元、10 道练习。以 MCUNetV2 / OFA 超网络和 Visual Wake Words 数据集为背景,依次探索搜索空间、实现效率与精度预测器,再比较随机搜索和进化搜索。最后在计算量与内存限制下寻找网络,记录精度与资源消耗的取舍。

官方课表将截止日期从 10 月 27 日调整为 10 月 29 日(MIT 当地日期);具体提交时刻以官方要求为准。可先结合第 7、8 讲 NAS 课件学习,再完成预测器与搜索算法练习。

已验证 notebook 可匿名下载;文件由 2026 秋季官网链接,保留往届出处。本站未执行实验,也未验证其外部模型和数据依赖;在 Colab 执行或保存副本可能需要 Google 账号。

已公开 · 2026-11-02 核对

Lab 4:Quantization · 从线性量化到 AWQ

官方 notebook 含 91 个单元、6 道主题练习。前半部分实现线性量化,后半部分为 OPT-1.3B 实现 4-bit 权重量化与 AWQ;两部分各 50 分。建议结合第 5、6、13 讲,记录精度、模型大小和运行成本,解释量化方案的取舍。

课表标注 10 月 27 日发布、11 月 5 日截止(MIT 当地日期)。notebook 已确认可匿名下载;本站未运行实验或验证外部模型依赖,在 Colab 执行或保存副本可能需要 Google 账号。

  1. GPU Basics

    从 GPU 编程与硬件执行方式开始,补齐理解加速的底层视角。

  2. Pruning

    实现细粒度与通道剪枝,比较精度、模型大小和实际推理延迟。Lab 2 已公开。

  3. Neural Architecture Search

    实现效率与精度预测器,比较随机搜索和进化搜索。Lab 3 已公开,练习同时约束计算量与内存。

  4. Quantization

    动手理解低精度表示,把精度、模型大小与部署收益联系起来。

  5. LLM Deployment on Laptop

    在自己的笔记本上部署语言模型,形成可演示的工程成果。

BEFORE YOU START

需要机器学习基础,也需要系统思维

官方先修要求为 6.191(Computation Structures)与 6.390(Intro to Machine Learning)。这是一门高阶课程,适合已有基础、想继续研究压缩与部署的学习者。

机器学习这一侧

建议先理解神经网络、损失函数、反向传播和训练 / 推理的区别,能用深度学习框架完成一次基本训练与评测。

计算系统这一侧

建议先理解计算量、内存容量与带宽、并行执行等基本概念,知道“理论计算减少”与“设备实际加速”可能不同。

如果刚开始接触 AI,先从本站学习路径补基础。使用公开材料自学,与 MIT 正式注册、评分和学分是不同的学习方式。

YOUR STUDY ROUTE

本站建议:带着一个真实模型学完整门课

以下是自学建议,便于把课程主题转成可检查的成果;具体 Lab 内容以 MIT 发布的题目为准。

  1. 补基础,先建立基线

    先看前两讲,选择一个熟悉的小模型。记录硬件、软件版本、精度、模型大小和推理延迟,作为之后所有实验的参照。

    学习成果 · 一份可复现的基线记录

  2. 跟着剪枝与量化做对照

    学完一个方法就做一个小实验。一次只改变一个变量,同时记录精度与实际延迟;参数变少不等于硬件一定更快。

    学习成果 · 一张优化前后的对比表

  3. 选择自己的部署方向

    关注边缘设备就继续 MCUNet / TinyEngine;关注大模型就继续 LLM 量化、部署与长上下文。新讲次未发布时,可先参考往届资料。

    学习成果 · 一个明确的设备与模型组合

  4. 完成一次本地部署

    以课程 Lab 为实践入口,记录模型、量化格式、内存占用、加载时间与生成速度。能运行之后,再定位真实瓶颈。

    学习成果 · 一个可演示的本地模型

  5. 做一个小型研究项目

    围绕一个具体问题复现实验,保留脚本和结果。尝试写出问题、方法、基线、实验与局限,而不只展示最终数值。

    学习成果 · 实验仓库与简短技术报告

官方资源与往届存档

本页为 Learn traeai 中文整理与自学导览,课程、课件与视频版权归原作者。官方课表资源于 2026-11-02 核对,后续发布请以官网为准。

查看 MIT 2026 秋季其他 AI 课程与进展 →