LLM 结构化抽取:让输出可校验,而不是让模型更聪明

▸ 合格输出              3 篇  ✅ 全部通过
▸ 少了 evidence 字段    3 篇  ❌ 关卡一拦下
▸ 幻觉：引用了原文没有的句子  3 篇  ❌ 关卡二拦下
▸ 数值与引用对不上       3 篇  ❌ 关卡三拦下

一、四道关卡

关卡二的实现只有三行:

for f in obj.get("fields", []):
    if f.get("evidence") and f["evidence"] not in text:
        issues.append(f"「{f['name']}」的 evidence 不在原文中")

二、每道关卡各自拦住了什么

实测(每类故障 3 篇文档):

这张表的用处不是"拦截率 100%",而是告诉你哪一关不能省。

去掉关卡一,少字段的会漏过去;去掉关卡二,幻觉会直接进入数据库。

🔧 动手做:让 LLM 的输出必须先过关,才算数(5 分钟)

跑 python extract_pipeline.py。它对 LLM 抽取的结果设了四道关卡(必填字段、引用必须能在原文找到、类型校验、范围校验),故意喂进 12 次问题输出。

你会看到(实测):四道关卡共拦下 12 次里的 9 次。其中最要命的“幻觉引用”(模型编了一段原文里没有的话),被关卡二一次字符串包含检查全挡住了(3/3)。

想明白:对付 LLM 出错,靠的不是"换个更聪明的模型",是让它的输出可被机械校验——每条结论必须带上能在原文里定位的证据,不能定位就打回。校验管线不用随模型升级重写,这才是能沉淀下来的资产。别让 AI 的产出直接进你的系统,先让它过关。

三、成本控制:拦截 ≠ 白跑

被拦截的输出要重试,而重试是要花钱的——这就是 p7.1 计算器里那 10%。

三条能显著降本的做法:

1. 把 Schema 写进请求(结构化输出模式),而不是靠提示词描述 → 关卡一失败率大降
2. 只重试失败的字段,而不是整篇重来 → 重试成本降一个量级
3. 失败样本存档:同一类失败反复出现,说明是提示词问题,不是模型问题

没有存档,你会一直在为同一个提示词缺陷付重试的钱。

四、管线拦不住的那部分

四道关卡全过,仍然可能是错的:

• evidence 是原文的句子,但抽错了字段(把去年的数当成今年的)
• 数值对得上,但漏抽了同样重要的另一条
• 文档类型判错,导致下游用错口径

所以管线之外必须有固定比例的人工抽检,并且:

• 抽检结果要记录,用来估计真实错误率(而不是凭感觉)
• 抽到的错误要回灌成新的校验规则或测试用例——这就是 p4.10 的回归测试思路

能自动化的部分自动化,不能自动化的部分抽样——而不是假装它不存在。

五、换成真实 API 时要改什么

只改一个函数。

def fake_llm(doc_id, mode):     # ← 换成真实调用
    ...
# 下面的四道关卡，一行都不用改

真实调用版本还要补三件事(都与模型无关):

📌 免责:本课为技术教学,样本公告为虚构主体(甲/乙公司),不涉及任何真实上市公司;不构成投资建议。