这是什么
**幻觉(Hallucination)**指 AI 一本正经地编造不存在的事实:虚构的论文、不存在的 API 方法、张冠李戴的引用、凭空的统计数据。说得斩钉截铁,但其实没有依据。
为什么重要(为什么会这样)
关键要理解 AI 的本质:它不是在”查找答案”,而是在预测下一个最可能的 token。
- 它追求的是”读起来通顺、像那么回事”,而不是”事实正确”。
- 当它遇到训练数据里没见过的内容,它不会说”我不知道”,而是根据语言规律编一个最像样的答案。
- 它没有”事实校验”这个环节。
打个比方:一个读过很多书、口才极好、但从不查证的复读机,碰到不确定的问题,会”合理地编一个”,而不是承认不会。
所以——幻觉不是 bug,是机制。知道这一点,你就不会再把”它说得像真的”当成”它真的懂”。
怎么用(怎么应对)
- 关键事实自己核:人名、数据、引用、API、法律条款——这些绝不能轻信,必须人工核对。
- 让它标注不确定性:在 prompt 里加”如果不确定,请直接说不知道”。
- 给上下文(RAG):让它基于你提供的真实文档回答,而不是凭记忆。
- 降低温度(temperature):需要事实性回答时调低温度,减少”发挥”。
- 要求引用来源:可以要求它标出依据,但注意——它也可能编造引用,仍要核。
练习
- 故意问 AI 一个不存在的人(如”张三丰 2024 年发表的量子计算论文”),看它怎么编。
- 同样的问题,加一句”如果不确定请说不知道”,对比输出。
小结
幻觉是概率预测机制的必然产物,无法根除,只能管理。原则很简单:它说的每一条关键事实,都默认需要你来核。
→ 想让 AI 基于”真实文档”回答而不是凭记忆?下一步看 Embedding 和 RAG,或直接走 RAG 系统实战路径。
幻觉可靠性基础概念
想把这个概念变成系统能力?走对应的学习路径:
查看学习路径 ->