T learn.traeai
← 所有小课
AI 幻觉(Hallucination) 入门 ⏱ 10-15 分钟

AI 幻觉:为什么 AI 会一本正经地胡说

AI 不是在「撒谎」,而是在「猜」。理解幻觉是概率预测机制的必然产物,你才知道什么时候必须自己核对。

这是什么

**幻觉(Hallucination)**指 AI 一本正经地编造不存在的事实:虚构的论文、不存在的 API 方法、张冠李戴的引用、凭空的统计数据。说得斩钉截铁,但其实没有依据。

为什么重要(为什么会这样)

关键要理解 AI 的本质:它不是在”查找答案”,而是在预测下一个最可能的 token

  • 它追求的是”读起来通顺、像那么回事”,而不是”事实正确”。
  • 当它遇到训练数据里没见过的内容,它不会说”我不知道”,而是根据语言规律编一个最像样的答案
  • 它没有”事实校验”这个环节。

打个比方:一个读过很多书、口才极好、但从不查证的复读机,碰到不确定的问题,会”合理地编一个”,而不是承认不会。

所以——幻觉不是 bug,是机制。知道这一点,你就不会再把”它说得像真的”当成”它真的懂”。

怎么用(怎么应对)

  • 关键事实自己核:人名、数据、引用、API、法律条款——这些绝不能轻信,必须人工核对。
  • 让它标注不确定性:在 prompt 里加”如果不确定,请直接说不知道”。
  • 给上下文(RAG):让它基于你提供的真实文档回答,而不是凭记忆。
  • 降低温度(temperature):需要事实性回答时调低温度,减少”发挥”。
  • 要求引用来源:可以要求它标出依据,但注意——它也可能编造引用,仍要核。

练习

  1. 故意问 AI 一个不存在的人(如”张三丰 2024 年发表的量子计算论文”),看它怎么编。
  2. 同样的问题,加一句”如果不确定请说不知道”,对比输出。

小结

幻觉是概率预测机制的必然产物,无法根除,只能管理。原则很简单:它说的每一条关键事实,都默认需要你来核

→ 想让 AI 基于”真实文档”回答而不是凭记忆?下一步看 EmbeddingRAG,或直接走 RAG 系统实战路径

幻觉可靠性基础概念

想把这个概念变成系统能力?走对应的学习路径:

查看学习路径 ->