---
url: /courses/ai-literacy/05.evaluation-and-safety.md
---
# 第三章：AI 为什么会一本正经地说错

前两章里，你已经做了两件重要的事：

* 知道 AI 不是万能答案机，也不是单一东西。
* 学会把模糊问题说成更清楚的任务。

但这还不够。

即使你把问题说清楚，AI 仍然可能给出一个流畅、自信、看起来很像真的回答。它可能不是故意骗你，而是它的工作方式本来就不是“先查清楚事实，再保证每句话都正确”。

所以，AI 通识课必须很早讲判断力。否则学生会出现两种危险倾向：

* 一种是全信：AI 说得像真的，就直接照做。
* 一种是全否定：发现 AI 错一次，就觉得它完全没用。

更好的做法是第三种：会用，也会查；会让它帮忙，也知道哪里不能交给它。

## 3.1 AI 为什么会说错

大模型生成回答时，会根据当前问题、上下文和训练中学到的模式，组织一段看起来合理的文字。

这带来一个优点：它很会解释、总结、改写、举例、补全思路。

也带来一个风险：当它缺少资料、问题太模糊、上下文有误，或者题目要求它必须给出答案时，它可能仍然生成一段“像答案的文字”。

这就是很多人说的“幻觉”。在这门课里，你可以先把它理解成：

> AI 不确定、没看到、没核验，却生成了看起来像真的内容。

幻觉不一定是离谱错误。更麻烦的是那些“听起来很合理，但关键事实不对”的回答。

## 3.2 哪些回答最需要小心

不是所有错误都一样严重。

AI 把一句话改得不够好，影响通常不大；AI 编出一个录取分数线，影响就可能很大。

下面几类回答要格外小心：

| 类型 | 为什么要小心 | 应该怎么做 |
|---|---|---|
| 最新信息 | 模型可能不知道最近变化 | 查官网、公告、新闻源 |
| 数字和名单 | 数字容易错，名单容易编 | 找原始来源核对 |
| 升学就业建议 | 会影响重要选择 | 结合老师、家长、官方资料 |
| 医疗法律金融 | 需要专业责任 | 找专业人士或权威机构 |
| 他人隐私 | 可能泄露敏感信息 | 不输入真实隐私 |
| 自动执行动作 | 可能造成不可逆后果 | 必须有人确认 |

你可以把 AI 的回答先分成三类：

* 可以直接参考的：写作思路、学习方法、表达优化、概念类比。
* 需要继续追问的：太泛、太长、没结合你情况、缺少理由的回答。
* 必须核验的：最新事实、数字、政策、重要决定、专业责任问题。

{{reflection-checkpoint:ai-error-risk-sort-checkpoint}}

## 3.3 一个常见场景：AI 说某专业“就业很好”

假设你问：

```txt
人工智能专业就业怎么样？
```

AI 可能会回答：就业前景广阔、岗位很多、薪资较高、未来发展好。

这些话不一定错，但还不能直接当作结论。你要继续问：

```txt
请把回答分成三类：
1. 基于常识可以参考的判断。
2. 需要最新数据支持的说法。
3. 我应该去哪里核验。
```

更稳的做法是让 AI 帮你列核验清单：

```txt
请列出我判断一个专业就业情况时应该查的 5 类资料。
要求：说明每类资料可能从哪里获得，以及它能证明什么、不能证明什么。
```

这样，AI 的作用就从“替你下结论”变成“帮你知道该查什么”。

## 3.4 判断 AI 回答的四个问题

当你看到一个 AI 回答，可以先问四个问题。

**第一，它基于什么？**

它有没有说明资料来源？有没有引用原文？有没有区分事实和推测？

**第二，它有没有可能过时？**

政策、价格、分数线、榜单、工具功能、招聘趋势，都可能变化。

**第三，它有没有替我做不该做的决定？**

AI 可以给建议，但最终选择、提交、付款、删除、授权等动作需要人确认。

**第四，我能不能复查？**

如果答案无法追溯、无法解释、无法复查，就不能用于重要决定。

这四个问题不复杂，但很实用。它们能帮你从“听起来对”走向“我知道为什么能参考，为什么还要查”。

## 3.5 隐私和安全：不要把所有东西都丢给 AI

有些内容不应该随便输入 AI。

比如：

* 密码、验证码、API key。
* 身份证、手机号、家庭地址。
* 同学、家人、老师的隐私信息。
* 学校、机构、公司内部资料。
* 未公开的合同、账号、财务和医疗材料。

如果你只是想练习，可以把真实信息改成虚构例子：

```txt
请把下面这段经历改成更清楚的自我介绍。
注意：姓名、学校、地点都用虚构信息替代。
```

隐私意识不是“害怕 AI”，而是知道哪些材料不能随便放到它的工作台上。

## 3.6 重要问题的安全 Prompt

当问题比较重要时，可以在 Prompt 里主动加上安全边界。

比如：

```txt
请把你的回答当作学习参考，不要替我做最终决定。
如果涉及最新政策、分数线、就业数据或专业责任，请明确提醒我核验来源。
如果你不确定，请直接说不确定。
请把回答分成：可参考、需追问、必须核验三类。
```

这段话不是万能保险，但它能提醒 AI 先区分边界，也提醒你不要被流畅表达带走。

{{reflection-checkpoint:ai-error-safety-boundary-checkpoint}}

## 3.7 本章小测

下面几道题帮助你确认：你是否能发现 AI 回答里的风险，并知道下一步该追问还是核验。

{{assessment:ai-error-check}}

## 本章小结

这一章最重要的不是让你害怕 AI，而是让你获得判断力：

* AI 会生成看起来合理的回答，但合理不等于真实。
* 越是最新、具体、高影响的信息，越需要核验来源。
* AI 的建议可以打开思路，但不能替你承担最终责任。
* 隐私、账号、内部资料和专业责任问题不能随便输入。
* 好的使用习惯是：让 AI 帮你整理、追问、列核验清单，而不是直接接管判断。

下一章我们会回到更积极的一面：怎样用 AI 帮助学习和表达。会判断之后，AI 才更像一个好用的学习伙伴。