第 9 节 · 本站原创中文课程 · 建议 25 分钟

09 · LLM Serving:从单次生成到服务

学完能做:建立 KV cache、批处理与服务延迟的基本验收框架。

视频权益与本站学习分开

分享目录将第 9 集标为会员内容,实际权益以作者平台为准。本节是本站独立编写的服务基础导读,不是会员视频的字幕、翻译或内容复刻;即使不观看该视频,也可完成下面的模拟任务。

计算与缓存的压力不同

Prefill 处理输入上下文,decode 逐步生成 token;KV cache 随序列数量和长度增长,不能只预算模型权重。常见简化公式为 2×层数×KV 头数×头维度×缓存 token 数×每元素字节数,不含分页浪费、量化元数据和其他运行时开销。

吞吐不是用户等待时间

同时记录首 token 延迟 TTFT、后续 token 间隔、端到端延迟与吞吐,并报告负载、并发、输入输出长度和 p50/p95。连续批处理、分页缓存和调度是在质量及延迟约束下取舍,不能只展示一个最大 tokens/s。

这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。

参考来源:Jia-Bin Huang · AI Training and Inference

动手,把理解变成成果

本节练习

正在读取本机草稿…

设计一个不调用真实 GPU 的服务压测方案:短输入/短输出和长输入/长输出各一组,再加入并发。说明记录哪些指标、缓存预算和失败处理,并汇总前八节的训推方案。

75 / 6000 字。本页不执行代码;可下载后在本地运行,或用 Agent 获取定性建议。

给我一个提示

无运行环境就交方案和模拟数据,清楚标记未实测,不编造 GPU 性能。

查看参考思路(本站预写,非实时 Agent)

分别设计两组长度和并发档位,预计 KV 占用并留运行时余量。记录 TTFT、token 间隔、端到端 p95、吞吐和失败率;附显存账本、分组图、适配和解码对照、蒸馏奖励检查及优化器计划,所有未执行项标待测。

人工自评:逐项核对自己的作品

这些勾选由你确认,不是自动测试结果。遇到待测项,请在作品里明确注明。

理解自测

只报告最大吞吐,足以判断在线服务体验吗?

自己的学习笔记

0 / 3000 字 · 仅保存在此浏览器

围绕当前章节学习

Agent 答疑与作品评价

正在检查连接…

本站讲解、提示、参考思路和自测可独立使用。连接模型服务后,才能实时提问或评价;这里不会把预写内容伪装为 Agent 回答。

走完学习闭环

完成本节

保留练习、勾选人工自评并通过自测后,可记录完成。修改作品或答案会重新打开本节。

课程进度:0 / 9 · 本机记录,不是外部官方证书

回到课程目录 →
← 上一节:08 · Muon 与 MuonClip:矩阵更新的取舍