Skip to content

用量计费的埋点:
为什么「跑完再上报」一定会漏 ​

一句话结论:把上报写在「每条返回路径」上,等于把正确性交给了「以后新增路径的人记得也写一遍」。

计费埋点的结构:入口建账、分支累加、出口单点上报

一、先定一个数 ​

按量计费要回答的第一个问题不是「单价多少」,是这一次调用算几轮。

轮次这个数必须有两个性质:

  • 可解释:用户看到「这次扣了 3 轮」,能对上「我问了 1 次、它调了 2 次工具」;
  • 有唯一来源:同一个动作,在账单、在日志、在界面上的数字必须是同一个。

第二条比第一条难。因为「一次请求」在系统里往往对应多条代码路径,而计量的实现通常只在其中一两条路径上。

二、六类漏口,一个病根 ​

我们把一次完整盘点做下来,找到六类漏收。它们看起来毫不相干:

  1. 不带工具的直接回答:走的是普通推理路径,不进工具调用循环,而记账写在循环里;
  2. 非流式请求:流式与非流式是两个入口函数,只给流式那个加了;
  3. 直连会话:还有一套绕过主链路、直接对接模型的处理器,完全没接计量;
  4. 子任务的轮次:子任务自己跑了好几轮,回执里有这个数,但主账本没去取;
  5. 异步任务的轮次:字段存在,但产出点从没赋过值,恒为零;
  6. 工作流节点:写入时用的键名是 A,汇总时读的键名是 B,读出来永远是零。

第一眼看像是六个独立 bug——补六次就行。但把它们排在一起,能看出同一个形状:记账代码写在某个分支内部,而不是写在请求的边界上。

只要记账在分支里,第 1、2、3 类就是必然;只要「轮次怎么传」没有统一约定,第 4、5、6 类就是必然。补完这六个,下个月加一条新路径,还会长出第七个。

三、为什么「每条路径都补一次」不是解法 ​

最直觉的修法是:每条返回路径前面都加一行上报。它的问题有三个,而且都会兑现:

  • 提前返回:路径里但凡有一处 return(错误、降级、超时),后面的上报就跳过;
  • 双计:两条路径同时命中(比如主循环结束了、外层又收一次尾),同一轮记两遍;
  • 新增路径:新写一个分支的人,未必知道要补上报。而漏收不会报错,它会安静地少收钱。

反过来,多收会立刻被用户投诉,少收没人会发现。这个不对称决定了:漏收是必然会长期存在的缺陷类型,除非结构上不允许它存在。

四、结构解法:入口一次、出口一次 ​

改法是把记账从「路径上」挪到「请求的边界」:

入口建账本。 请求一进来就创建一个请求级账本,挂进上下文。这个账本只做一件事:累加轮次。

各分支只做加法。 每段真正调用模型并拿到结果的代码,只调一个「加 N 轮」。它不判断要不要上报、不关心上报给谁。加错了最多是数字不对,不会漏报。

出口兜底上报。 入口同时挂一个延迟执行:请求无论从哪条路径退出——正常、报错、取消、超时——都会走一次上报。这一条覆盖了前面所有「提前返回」的情况。

上报只发生在最外层。 中间层再想报也不许报。这样双计在结构上不可能发生。

幂等靠请求编号。 重试、回放、重复提交都带同一个请求编号,服务端按编号去重。没有这一条,兜底上报会把「重试三次」记成三份。

这套结构的好处不是「这次不漏了」,是新增路径自动被覆盖:写新分支的人只要记得加轮次,不需要知道上报在哪。

五、口径也要写死 ​

结构对了,还得定义什么算一轮。否则数字对得上、含义对不上。

我们的口径是三句话:

  • 主循环里每完成一次模型调用,算一轮;
  • 子任务自己的轮次计入发起它的那次请求(它在替你做这件事);
  • 辅助调用不计轮:生成标题、压缩上下文、检索重排、连通性探测、意图分类——这些是系统自己需要的开销,不是用户要的活。

第三条最容易被忽略,也最容易把账单做成黑箱。用户看到「我只问了一句,为什么扣了五轮」,其中四轮是系统在后台跑标题和摘要——这种账没人能算明白。

六、验收:只断言「有回执」会让你全绿 ​

最后一条是我们自己踩的坑。

改造完成后,实现把六类出口都补上了,测试也通过了。但其实还是漏:最普通的那种对话,回执发出来了,金额是零。

因为验收条件写的是「有回执」,测试断言的是「回执条数对」。两条都在问「有没有」,没有一条问「那个数字是不是一」。

改进两步:

  1. 把「一次普通对话必须计一轮」写成断言,落在具体路径上;
  2. 给这条断言配一把反向锁——把计数那一行注释掉,测试必须变红。不红,说明判据没生效。

反向锁这一步不能省。很多「已验证」的机制,其实只是「没有报错」。

计费与用量的观测方式见监控与可观测性。

结论 ​

  • 计量要有一个唯一来源:一次动作在账单、日志、界面上的数字必须同源;
  • 六类漏口是同一个病根:记账写在分支内部,没写在请求边界上;
  • 各分支只加不判、入口兜底、出口单点上报、请求编号幂等——四条合起来才能让新增路径自动被覆盖;
  • 一定要定义「什么不算」:辅助调用不计轮,否则账单没法解释;
  • 只断言「有回执」的验收等于没验收。判据必须落到数字上,并且先证明它能红。

还没解决的 ​

计量的下游还有一层没打通:账单要能按「一次会话」把多轮消耗归到一起给用户看,而目前只能按单次请求列。用户想知道「这次对话一共花了多少」,还得自己加。

另一个是异步链路的可观测性:一个后台任务跑了多久、几轮、卡在哪一步,现在只能从结果反推,没有中途的快照。