ap3.4实操⏱ 约 9 分钟

置信度与拒答:让它说"我不确定"

比"答对"更重要的能力——知道自己什么时候不该答

🔎 最后验证 2026-08📚 来源:本节 A/B 对照为 ECS 实测(2026-08,deepseek-chat,12 条含 5 条信息不足样本,脚本与原始输出见本节代码)🧰 DeepSeek API、Python

为什么学这个

你的提取管线现在很稳:schema 写死、校验兜底、修复循环。但有一类输入它治不了——信息压根就不在原文里。

"客户说要那个之前买过的,老规矩"——这句话里没有金额、没有渠道、没有商品。一个"必须给出答案"的系统,面对它只有两条路:填 null,或者编一个。

这一节讲第三条路:让它明确说"我不确定,这条得人来看"——并且用实测告诉你,这个设计到底值多少。

💡 打个比方

两个下属交上来的报表都填满了。区别是:一个把不知道的数估了个差不多的填上,另一个在不确定的格子上画了问号并附了张便条。

前者让你无从察觉,后者让你知道该去核实哪几行。后者才是能长期合作的人——AI 也一样。

实验:给不给"不确定"的出口

12 条订单,其中 5 条是"信息不足"样本("老样子"、"按上次那样再来一份"、"详情见附件"……)。

A 组:普通 schema,只能填值或 null;
B 组:schema 里加两个字段 confidence(high/medium/low)和 needs_human(布尔),并写明"原文没写的一律 null,绝不推测;关键信息靠猜时标 low + needs_human"。

都看到这了，打个赏呗！