Token 与上下文窗口：AI 为什么会「忘事」

这是什么

AI 读你发的内容时，并不是一个字一个字地读，而是切成一个个**词块（token）**来读。一个 token 大约是 ¾ 个英文单词，或一个汉字的几分之一。“ChatGPT” 可能是 1 个 token，“人工智能” 可能是 2-3 个 token。

而上下文窗口（context window），是 AI 一次对话里能”看见”的 token 上限。你可以把它想象成一块黑板：

• token 是写在黑板上的粉笔字
• 窗口大小 = 黑板有多大
• 对话越长，写上去的字越多；超过容量，最早的内容就被擦掉

为什么重要

理解 token 和窗口，能解释三个你最常踩的坑：

1. 为什么 AI 会”忘事”：对话太长，早期内容被挤出窗口，AI 真的就”看不见”了——不是它故意忘，是黑板上没字了。
2. 为什么长文档总结会丢细节：如果文档超过窗口，AI 要么只看了一部分，要么被自动截断，细节自然丢。
3. 为什么按用量计费：API 按 token 数收费，你发的上下文越长，每次调用越贵。

怎么用

管理上下文 = 管理这块黑板：

• 只发相关的：不要把整个数据库塞进去，只检索和当前问题相关的片段（这就是 RAG 干的事）。
• 用摘要代替全文：长对话定期总结成要点再放回上下文，腾出黑板。
• 按需选模型：需要处理超长文档时，选长窗口模型（如 Gemini 的百万级 token 窗口）；日常对话用普通窗口即可，省钱。

练习

1. 开一个新对话，和 AI 聊 20 轮废话，然后问它”我们第一句聊了什么”。观察它在第几轮开始”失忆”。
2. 发一段很长的文本给 AI，问它文中某个细节，看它是否因为截断而答错或答不出。

小结

Token 是 AI 的阅读单位，上下文窗口是它的工作记忆。管理好这块黑板，AI 才不会忘事、不会漏细节、也不会让你花冤枉钱。

→ 下一步：想把”管理上下文”变成系统能力？走 AI 应用入门路径，从 Prompt 到 API 一步步上手。