给模型通道配三把尺子:
限流、首字延迟、持续吞吐
一句话结论:一个请求能出字,只证明这条通道是通的。它扛不扛得住,得用三个不同的量分开测。

一、为什么「通」这个结论没用
接入一条新通道,最省事的验收是:发一个请求,返回了完整回答,接入完成。
这个结论的问题在于它测的是空闲状态下单次请求。而真实使用里出问题的场景是另外三个:同时问的人多、第一条字迟迟不出来、连续几个小时一直有流量。
所以评估要拆成三个独立的量,一个都不能替另一个。
二、第一把尺子:并发下的限流门槛
做法:把几十个请求同时打出去(四十个足够看出形状),输出上限压到很小——这轮不看内容,只看握手与限流。统计返回码分布:正常返回多少、限流多少、其他错误多少。
看的是三件事:
- 限流从第几个请求开始出现:这决定了峰值的可用并发;
- 限流之外还有没有别的错误:如果出现 5xx,说明不只是配额问题,是服务端扛不住;
- 错误是否可重试:限流通常可退避重试,5xx 要看具体原因。
单发成功和并发成功是两件完全不同的事。只测单发,等于没测。
三、第二把尺子:首字延迟与生成速度
单条流式请求,量两个时刻:从发出到第一个字出现的延迟,以及整个生成过程的耗时。
首字延迟决定「感觉快不快」,生成速度决定「要不要等很久」,两者的用户感受完全不同:一个系统可以首字很快但吐字很慢,也可以首字慢但一旦开始就飞快。
这一步有个很现实的坑:用量数据通常在流的最后几个分片里才出现。解析循环如果看到结束标记就提前退出,或者读到第一个内容分片就 break,用量永远是空的。空手之后最常见的补救是数中文字符估算——于是你会得到一个看起来很具体、实际完全不可比的错数。
正确做法是读到流结束,再从响应里取生成 token 数与耗时相除。
四、第三把尺子:持续一分钟的吞吐
单条延迟好看,不代表持续顶得住。连接复用、上游排队、限流退避,都会在持续压力下显形。
做法:固定并发数(六七个就够),循环打满六十秒,把累计生成 token 除以实际耗时,换算成每分钟吞吐。
这一个数字比前两个更接近「能不能当主力」的判断依据:它同时包含了限流、排队和重试的影响。
五、三条纪律
- 只认响应里返回的用量,不自己数中文字符折算;拿不到就记「未知」,不用估算值填表;
- 流式解析必须读到流结束,中途退出的采样不算数;
- 测量口径要跟计费同源。如果评估用的用量和计费用的用量不是同一份数据,测出来再漂亮也解释不了账单。
六、路由侧的四级策略
通道评估完,还要决定请求怎么落到通道上。常见做法按四步走:
- 上限筛选:先按模型的上下文上限过滤,装不下的模型直接出局;
- 成本排序:同一档位里选输入输出价格更低的;
- 延迟排序:同价位里选延迟更低的;
- 失败切换:主通道不可用时按顺序切下一个,全部不可用则明确报错,而不是静默降级。
还有一个容易被忽略的部件:熔断。连续失败达到阈值后,该通道在冷却期内直接跳过,不再每次请求都去撞一遍。没有熔断的多通道,效果等于单通道——因为每次都要先等主通道超时。
多模型与通道配置见多模型配置。
结论
- 「通了」是接入门槛,不是评估结论;
- 限流门槛、首字延迟、持续吞吐是三个独立维度,混在一个「响应挺快」的体感里等于没测;
- 用量必须来自响应本身,自己数的 token 在跨通道比较时只会放大误差;
- 通道选完还要配路由和熔断,否则多通道只是多了一份等待。
还没解决的
长上下文与高并发同时出现时的表现,是这套尺子还没覆盖的场景——而它通常是最先崩的那一个。