部署与成本控制:放上公网,然后算清一笔账

一、部署形态怎么选(AI 应用视角)

选型的三个决定性问题(不是"哪个更先进",而是"哪个不会咬到你"):

1. 它支持流式响应吗?有没有响应缓冲?最大响应时长是多少?
2. 单个请求能跑多久?大模型调用 10-60 秒很常见,很多平台默认超时 30 秒甚至更短。
3. 并发模型是什么?单实例能同时处理几个请求?(ap7.1 实测过:这一条直接决定用户的中位等待。)

给大多数人的建议:第一版就用一台普通云服务器 + 反向代理。它没有任何隐藏约束,流式、长请求、并发全都随你调。等你真的有了流量,再谈弹性。

二、流式的三个杀手

ap7.3 辛苦做出来的流式体验,会在这三处被静悄悄地干掉:

① 反向代理的缓冲。Nginx 默认会缓冲上游响应,攒够一块才发给用户——流式直接变成非流式。

location /api/ {
    proxy_pass http://127.0.0.1:8000;
    proxy_buffering off;              # ← 关掉缓冲,流式的命根子
    proxy_read_timeout 300s;          # ← 长请求别被中途掐断
    proxy_set_header Connection '';
    proxy_http_version 1.1;
}

② CDN / 安全网关。很多 CDN 对 text/event-stream 的处理并不透明,可能缓冲、可能压缩、可能超时。做法:让 API 路径绕过 CDN(或明确配置为不缓存、不缓冲),只让静态资源走 CDN。

③ 响应压缩。gzip 会为了压缩效率而攒数据。SSE 路径关掉压缩,或者确保按 chunk flush。

上线后的验证方法(一条命令,别靠猜):

curl -N -X POST https://你的域名/api/ask -d '{"question":"讲个长一点的故事"}' \
     -H 'Content-Type: application/json'

-N 关闭 curl 自己的缓冲。如果内容是一点一点出来的,流式是通的;如果卡半天然后一次性全出来,上面三处至少有一处在缓冲。

三、还有四件上线时才会遇到的事

最后一条容易被忽略:进程活着但模型调不通,你的健康检查还是绿的,负载均衡会继续把流量打进来。健康检查应该跑一次真实(但极小)的模型调用,并且带缓存,别把健康检查本身变成一笔开销。

四、把成本算清楚

先建一个能算的模型,用本课实测的数字:

单次调用成本 = 输入未命中 tok × 单价A
             + 输入命中缓存 tok × 单价A/10        ← ap1.4:缓存价约十分之一
             + 输出 tok × 单价B
             + 重试次数 × 上面这些              ← ap1.1:失败重试是真金白银

一个具体例子(以本课量级估算,单价随服务商变化):

这个表最大的价值不是那几个数字,是它让你能回答两个问题:"再来 10 倍用户我付得起吗?"和"我该收多少钱?"(AP8 展开)。

降本清单:按性价比排序

注意第 5 条和第 6 条的顺序:很多人第一反应是"精简提示词",但实测里那是收益最小的一档——而且改提示词有质量风险(要过 ap5.5 的门禁),改缓存策略没有。

先做不损质量的(1、2、3),再做要评测保护的(4、5、6)。

🔧 动手做:上线并算账(25 分钟)

1. 把服务放到一台云服务器上,配好反向代理(proxy_buffering off)、HTTPS、进程守护。
2. 用 curl -N 验证流式真的通了——这一步别跳过,它是最容易静默失败的一环。
3. 改健康检查:加上一次带缓存的上游可达性检查。
4. 建你的成本模型:把上面那张表换成你自己的数字,算出月成本和每用户成本。
5. 按降本清单从上往下过一遍,标出你还没做的,估算每一项能省多少。
6. 设一个成本告警(ap7.4):日成本超过预算 1.5 倍就通知你。

✅ 做到这里你应该有:公网可访问的服务 + 验证过的流式 + 带上游检查的健康检查 + 一份自己的成本模型 + 一张按性价比排序的降本待办。

为什么:部署这一步最容易发生的事故不是"跑不起来"(那你立刻就知道了),而是“跑起来了,但某个东西被静悄悄地降级了”——流式变成非流式、长请求被超时掐断、健康检查在骗你。这些都不会报错,只会让体验慢慢变差。

而成本模型的意义在于:它把"这个产品能不能做下去"从感觉变成算式。下一章 AP8 会直接接着这个算式往下算。

我的 AI 产品是【描述】,预计日活【X】、人均调用【X】次,主链路【有/没有】流式,团队运维能力【描述】。请帮我:1) 推荐部署形态并说明理由,重点分析流式和长请求的约束;2) 给出反向代理配置(关缓冲、超时、SSE 相关 header);3) 设计健康检查(含上游可达性,注意别把检查本身变成开销);4) 用我的数字建一个成本模型表(含缓存命中率的影响),算出月成本和每用户成本;5) 按性价比给我排一张降本清单,标出每项的预期收益和质量风险。