先量化幻觉:裸问你的业务,它编造 5/8

实验设计:一份"只有我们知道"的制度

我造了一份虚构店铺的规则(退货/会员/配送/积分/投诉五份),问 8 个答案只在这份文档里的问题。三组对照:

• A 裸问:什么都不给,直接问;
• B 裸问 + 允许说不知道:明确写"不掌握就说没查到,严禁猜测";
• C 给对资料:把正确的那份文档塞进提示词(RAG 的理想上界)。

结果:三组数字

组                        给出具体答案     答对     编造(答了但错)
A 裸问                      8/8         3/8      5/8
B 裸问+允许说不知道           0/8         0/8      0/8
C 给对资料(RAG上界)         —          8/8      —

A 组的编造长什么样(原样节选):

「市区订单多少钱免运费?」→ 我们店铺的免运费政策是:市区订单满 58元 即可享受免运费配送。 「会员到期后积分还保留多久?」→ 我们店铺的规定是:会员到期后,积分会保留 30天。 「郊区不满免运门槛收多少运费?」→ 一般是 8元至15元 不等。

看这个语气:"我们店铺的规定是"——它以第一人称、笃定地说出了从没存在过的数字。真实答案分别是 59 元、90 天、12 元。

那答对的 3 个呢?纯属巧合——它蒙的行业惯例("100 分抵 1 元""24 小时响应""1-3 个工作日退款")恰好和我编的制度撞上了。蒙对不是能力,是运气。

三个必须记住的结论

① 幻觉的高发区不是"公开知识",是"你的业务"。 ap0.2 里它对诺奖问题很诚实,这里对你家规定张口就来——区别在于它知道自己不知道诺奖,却不知道自己不知道你家的规矩(它以为行业惯例就是你家规矩)。你的产品要回答的,恰恰全是后一类问题。

② 一句"不知道就说不知道"能压掉全部编造——代价是全部功能。 B 组编造率 0/8,漂亮。但它 8 个问题全部拒答,产品价值也归零。这是一个必须理解的权衡:拒答机制是安全阀,不是解决方案。

③ 给对资料 = 8/8。这是你后面 6 节要逼近的天花板。 C 组证明了模型的理解和总结能力完全够用——瓶颈从来不在"它笨",而在“它手上没有你的资料”。

所以 RAG 到底在解决什么

一句话:在回答之前,先把相关的资料找出来塞给它(Retrieval-Augmented Generation,检索增强生成)。

但注意 C 组的作弊之处:我直接把"正确的那一份"喂给了它。真实产品里没人告诉你哪份是对的——"从一百份文档里找出该给的那一份",才是 RAG 真正的难题,也是接下来 6 节的全部内容:

🔧 动手做:量出你自己业务的幻觉率(12 分钟)

1. 跑本节代码 hallucination_baseline.py,看三组数字。
2. 换成你的业务:把 KB 换成你毕业方向真实的规则/文档(3-5 份),编 8 个答案只在文档里的问题。
3. 跑 A 组,逐条读它的回答——注意它编造时的语气有多自信。这是你产品上线后用户会看到的东西。
4. 记下三个数:A 组编造率、B 组拒答率、C 组准确率。这是你的 RAG 基线,后面每一节的改进都要和它比。
5. 想一想:如果你的产品今天就上线(没有 RAG),这 5/8 的编造会造成什么后果?(退错货?算错运费?客诉?)

✅ 做到这里你应该有:你自己业务上的三个基线数字,以及一份"编造样例"的截图——它是你说服自己(或说服老板)做 RAG 的最好材料。

为什么:这一节延续本课的固定套路:先量化,再解决。有了"编造 5/8"这个数,后面每一步 RAG 优化都能回答"我把它降到了多少";没有它,你只能说"感觉好多了"。

我的业务是【描述】,有这些内部规则文档:【列出主题】。请帮我设计 10 个「答案只可能在文档里、模型不可能知道」的评测问题,要求:1) 至少 5 个是「我们家规定和行业惯例不一样」的点;2) 每个标注标准答案里的关键事实(数字/期限/条件);3) 说明如果模型编造,会给用户造成什么实际损失。