第三章：AI 为什么会一本正经地说错

约 1761 字大约 6 分钟

判断力幻觉核验安全

前两章里，你已经做了两件重要的事：

知道 AI 不是万能答案机，也不是单一东西。
学会把模糊问题说成更清楚的任务。

但这还不够。

即使你把问题说清楚，AI 仍然可能给出一个流畅、自信、看起来很像真的回答。它可能不是故意骗你，而是它的工作方式本来就不是“先查清楚事实，再保证每句话都正确”。

所以，AI 通识课必须很早讲判断力。否则学生会出现两种危险倾向：

一种是全信：AI 说得像真的，就直接照做。
一种是全否定：发现 AI 错一次，就觉得它完全没用。

更好的做法是第三种：会用，也会查；会让它帮忙，也知道哪里不能交给它。

3.1 AI 为什么会说错

大模型生成回答时，会根据当前问题、上下文和训练中学到的模式，组织一段看起来合理的文字。

这带来一个优点：它很会解释、总结、改写、举例、补全思路。

也带来一个风险：当它缺少资料、问题太模糊、上下文有误，或者题目要求它必须给出答案时，它可能仍然生成一段“像答案的文字”。

这就是很多人说的“幻觉”。在这门课里，你可以先把它理解成：

AI 不确定、没看到、没核验，却生成了看起来像真的内容。

幻觉不一定是离谱错误。更麻烦的是那些“听起来很合理，但关键事实不对”的回答。

3.2 哪些回答最需要小心

不是所有错误都一样严重。

AI 把一句话改得不够好，影响通常不大；AI 编出一个录取分数线，影响就可能很大。

下面几类回答要格外小心：

类型	为什么要小心	应该怎么做
最新信息	模型可能不知道最近变化	查官网、公告、新闻源
数字和名单	数字容易错，名单容易编	找原始来源核对
升学就业建议	会影响重要选择	结合老师、家长、官方资料
医疗法律金融	需要专业责任	找专业人士或权威机构
他人隐私	可能泄露敏感信息	不输入真实隐私
自动执行动作	可能造成不可逆后果	必须有人确认

你可以把 AI 的回答先分成三类：

可以直接参考的：写作思路、学习方法、表达优化、概念类比。
需要继续追问的：太泛、太长、没结合你情况、缺少理由的回答。
必须核验的：最新事实、数字、政策、重要决定、专业责任问题。

3.3 一个常见场景：AI 说某专业“就业很好”

假设你问：

人工智能专业就业怎么样？

AI 可能会回答：就业前景广阔、岗位很多、薪资较高、未来发展好。

这些话不一定错，但还不能直接当作结论。你要继续问：

请把回答分成三类：
1. 基于常识可以参考的判断。
2. 需要最新数据支持的说法。
3. 我应该去哪里核验。

更稳的做法是让 AI 帮你列核验清单：

请列出我判断一个专业就业情况时应该查的 5 类资料。
要求：说明每类资料可能从哪里获得，以及它能证明什么、不能证明什么。

这样，AI 的作用就从“替你下结论”变成“帮你知道该查什么”。

3.4 判断 AI 回答的四个问题

当你看到一个 AI 回答，可以先问四个问题。

第一，它基于什么？

它有没有说明资料来源？有没有引用原文？有没有区分事实和推测？

第二，它有没有可能过时？

政策、价格、分数线、榜单、工具功能、招聘趋势，都可能变化。

第三，它有没有替我做不该做的决定？

AI 可以给建议，但最终选择、提交、付款、删除、授权等动作需要人确认。

第四，我能不能复查？

如果答案无法追溯、无法解释、无法复查，就不能用于重要决定。

这四个问题不复杂，但很实用。它们能帮你从“听起来对”走向“我知道为什么能参考，为什么还要查”。

3.5 隐私和安全：不要把所有东西都丢给 AI

有些内容不应该随便输入 AI。

比如：

密码、验证码、API key。
身份证、手机号、家庭地址。
同学、家人、老师的隐私信息。
学校、机构、公司内部资料。
未公开的合同、账号、财务和医疗材料。

如果你只是想练习，可以把真实信息改成虚构例子：

请把下面这段经历改成更清楚的自我介绍。
注意：姓名、学校、地点都用虚构信息替代。

隐私意识不是“害怕 AI”，而是知道哪些材料不能随便放到它的工作台上。

3.6 重要问题的安全 Prompt

当问题比较重要时，可以在 Prompt 里主动加上安全边界。

比如：

请把你的回答当作学习参考，不要替我做最终决定。
如果涉及最新政策、分数线、就业数据或专业责任，请明确提醒我核验来源。
如果你不确定，请直接说不确定。
请把回答分成：可参考、需追问、必须核验三类。

这段话不是万能保险，但它能提醒 AI 先区分边界，也提醒你不要被流畅表达带走。

3.7 本章小测

下面几道题帮助你确认：你是否能发现 AI 回答里的风险，并知道下一步该追问还是核验。

本章小结

这一章最重要的不是让你害怕 AI，而是让你获得判断力：

AI 会生成看起来合理的回答，但合理不等于真实。
越是最新、具体、高影响的信息，越需要核验来源。
AI 的建议可以打开思路，但不能替你承担最终责任。
隐私、账号、内部资料和专业责任问题不能随便输入。
好的使用习惯是：让 AI 帮你整理、追问、列核验清单，而不是直接接管判断。

下一章我们会回到更积极的一面：怎样用 AI 帮助学习和表达。会判断之后，AI 才更像一个好用的学习伙伴。