系统提示的结构:角色、规则、边界、格式

  配置             系统提示字数   得分/20   JSON解析失败   相对完整版
  完整四段式              230       18.0       0/60         +0.0
  去掉①角色              217       18.0       0/60         +0.0      ← 一分没掉
  去掉②规则              100       14.0       0/60         -4.0
  去掉③边界              197       18.0       0/60         +0.0      ← 一分没掉
  去掉④格式              201       18.0      60/60         +0.0      ← 分没掉,但全解析不了
  只剩任务一句话             25        8.3      57/60         -9.7

四段式

① 角色:你是电商客服工单分类器。
② 规则:分类规则(按优先级):
        1. 表达不满、要求赔偿、威胁投诉 → 投诉
        2. 要求退货/换货/取消订单/退钱 → 退款
        ...
③ 边界:多个意图并存时,取优先级最高的那个。
        极短或无实质内容 → 其他。
④ 格式:只输出 JSON:{"category": "...", "urgent": true/false}

逐段看实测下来它到底在治什么:

去掉规则后的典型错例,全都指向同一件事——它在按自己的常识分,不是按你们的:

    「我买的鞋子小了,能换个大一码吗?」 应=退款 实=商品咨询
    「收到的杯子碎了!!!要求赔偿」     应=投诉 实=退款
    「买大了能否补差价换小的」          应=退款 实=商品咨询
    「你们家产品是正品吗?我怀疑是假货」  应=投诉 实=商品咨询

"换货算退款类"、"质疑正品算投诉"——这些定义只存在于你们公司里,写不进提示词,模型就只能猜。

关键:各段之和 ≠ 整体

回头看那两个数:四段各自的贡献加起来是 4.0 分,而全部拆掉掉了 9.7 分。

差在哪?看两个配置的对比:

同样是没有规则,多了角色+边界+格式就多 5.7 分。

也就是说:规则在的时候,其他三段是冗余的;规则不在的时候,它们能救回一大半。它们不是没用,是被规则遮住了。

这是消融实验的通病,也是读任何"XX 有没有用"结论时都要小心的地方:单独拆一个组件,量到的是“在其他组件都健全时它的边际价值”,不是它的绝对价值。当你的其他部分变弱时,它的价值会重新显现。

实用的推论:别因为"实测贡献 0"就把角色和边界删掉——它们是便宜的保险(角色 13 字、边界 33 字)。该删的是那种既不提分、又很贵的东西(ap2.4 那 127 字边界规则:0 提升、+43% 成本)。

写规则的三条经验

1. 给规则排优先级,别列平行清单。 「投诉」和「退款」经常同时成立,平行列出时模型只能随缘;写成"按优先级 1→5,取第一个匹配的",歧义立刻消失。

2. 用你们的真实措辞,别用抽象词。 ❌ "妥善处理客户情绪" → ✅ "出现『投诉到平台』『曝光』等字眼 → urgent=true"。能被机器判断的词,才是有效规则。

3. 规则不是越多越好(ap2.4 的教训)。 那节实测里,v3 加了 127 字边界规则,分数一分没涨、成本涨 43%。所以:每加一条规则,都该有一次跑分为它背书——这正是下下节要建的机制。

④格式段的两个硬要求

• 明确"只输出 X":不加这句,模型爱在 JSON 前后写"好的,以下是分析结果";
• 给出精确样例:{"category": "...", "urgent": true/false} 比"输出一个包含类别和紧急度的 JSON"有效得多。

⚠️ 但要认清:格式段只能提高成功率,不能保证——ap0.2 那个"5 次 4 种结构"就是在有格式要求下发生的。真正的保证在 AP3(schema 约束 + 校验 + 自动修复)。

🔧 动手做:对你自己的提示词做一次消融(15 分钟)

1. 跑本节代码,亲眼看"角色段贡献 0.0"和"格式段分没掉但解析全废"。
2. 把你的提示词拆成四段(哪一段是空的?多数人缺 ③边界,以及 ②里没排优先级)。
3. 做你自己的消融:把 ablation.py 的四段换成你的,评测集换成你的,跑一遍。 每段跑 3 轮——单轮波动会让你把噪声当成贡献(ap2.5)。
4. 看两个数:哪一段贡献最大(下次写新提示词从它开始写)、以及各段之和与全拆掉的差额(差额越大,说明你的段之间冗余越多)。
5. 对贡献为 0 的段做二选一:便宜就留着当保险,贵就删掉——判据是"字数 × 调用量",不是"看起来重不重要"。
6. 挨条审视规则:有没有"妥善""合理""注意"这类机器判断不了的词?换成可判定的表述。

✅ 做到这里你应该有:一份四段完整的系统提示 + 一张你自己的消融表 + 一个"从哪段开始写"的结论。

为什么:四段式不是格式洁癖,是把"模型猜不到的信息"系统性地补齐。

但这一节真正想给你的是消融这个动作本身——它是提示词工程里最接近"科学"的一步:不问"这样写好不好",问"去掉它掉几分"。你后面每一次想加一段话进提示词,都可以用这 20 行脚本回答它值不值。

这是我现在的提示词:【粘贴】。请按「角色/规则(带优先级)/边界/输出格式」四段式帮我重写:1) 指出我缺了哪几段;2) 把我的规则改成可机器判定的表述(去掉『妥善』这类抽象词);3) 补上多意图和极端输入的边界处理;4) 标出哪些内容是「只有我公司知道、必须由我补充」的空位。