跳到正文

AI FinOps要看任务成本:Token卖得更多不等于项目更赚钱

国内

AI应用成本治理属于AI FinOps:它不只回答“用了多少Token”,还要回答“这些消耗对应了哪些客户成果,以及每项成果是否值得卖”。近期新华财经在报道国产模型调用量增长时调查到,部分受访中小模型团队拿到API订单后,扣除算力、人力和运维成本,利润仍然很薄,甚至出现“调用越多、亏损越大”的情况。这只是记者采访中的部分案例,不能代表行业整体,但它指出了一个具体经营问题:调用量没有与可验收结果对应起来。

AI智能体、长上下文和工具调用让一项客户任务变成多次模型请求。完整成本不只有模型Token,还包括上下文重发、检索、工具执行、失败重试和人工返工。因此,模型单价下降不保证单件交付成本下降:如果低价模型需要更多步骤、更多工具调用或更多人工修正,总成本可能反而更高。核算单位应从Token总量转向一项任务,例如一份通过复核的报告、一个成功提交的申请或一个被客户接受的修改。

这项变化主要发生在已经使用多个模型、拥有真实API订单并开始承担运维的中小AI服务商。亚信近期发布的Token运营平台已经把公有云API和本地GPU的计量、分摊、预算、路由、缓存与ROI评估做成正式产品;阿里云AI Gateway也已提供按消费者设置Token配额、统计输入输出与缓存Token、限流和用量监控。对单一供应商或单一项目的标准化治理需求,优先购买现成工具通常更合理。

现成工具之外,增量问题出现在多模型、多项目或混合算力环境:不同供应商和本地GPU的计费口径不一致,团队不知道成本应归到哪个功能、智能体或客户合同;改模型、缩上下文或开启缓存后,任务质量和真实毛利是否仍然成立,也可能超出通用看板。材料只能证明通用治理能力已经产品化,不能证明第三方专项诊断已有稳定付费,因此这应被理解为有条件可测试的服务方向,而不是已经验证的市场。

一次可复算的成本诊断不需要先采购新的平台。团队可以选一个已经收费、流程稳定的任务,把每次运行的输入Token、输出Token、缓存命中、模型单价、工具调用、重试、失败和人工返工时间记入同一张表,再算出每件成果的总成本和成功率。优刻得的成本指南也给出类似拆解:基础费用应包含未缓存输入、缓存写入、缓存命中和输出,另加工具、检索、网络、网关、日志、运维、人工审核与失败重试;Agent任务还要把每轮历史上下文、工具schema、工具结果和思考Token纳入,而不能只统计最后一次回答。

比较基线后,可以依次测试几项改变:先删除重复上下文并限制输出长度,再判断哪些步骤可以下沉到便宜模型,最后才评估语义缓存、批量处理或更高质量模型。预算不能只取平均数:财务基线可用P50,运营上限更适合看P90或P99,异常和重试压力还需单独演练。每次改动都应同时看成本与验收结果,不能只展示节省比例。缓存写入可能有溢价,低频长文档也不一定适合开启缓存;是否值得使用必须用真实请求复算。

这张表至少应支持三个决策。第一,判断某类任务在合理质量下能否通过缩短上下文、路由或缓存改善毛利;第二,确定调整后的单件成本能否写入报价、预算上限和容量规划;第三,明确失败是否计费、人工返工由谁承担。对于按次、按项目或按结果收费的团队,“成功”的定义、返工责任和验收方式都应在合同里写清,不能等账单出现后再讨论。

“双11”期间,0.01元会员卡和低价Token包在淘宝、京东、抖音集中出现,说明Token及模型会员已经成为可以按量或订阅购买的零售商品,但低价获客主要证明了试用门槛和价格敏感度,不能证明持续订阅或服务毛利成立。材料同时显示,C端轻度使用较难转为稳定付费,面向个人的AI服务零售短期也难成为企业核心现金流。对服务商而言,关键不是把更多便宜Token卖给客户,而是证明每一笔消耗最终形成了什么可验收成果,以及这项成果的成本是否低于客户愿意支付的价格。

有真实任务日志和定价权的团队可以先做内部成本体检,不必一开始对外宣称提供昂贵的FinOps咨询。选一项正在交付的任务连续记录一周,交付一张任务成本表、一次路由或缓存对比和一份报价影响说明。如果这套方法能被产品、财务或客户接受,再评估是否把整理、归因、预算演练和复测做成专项服务。提供外部诊断时,团队必须取得客户日志、合同和验收规则的使用授权,并自行承担数据脱敏、账单核对和复测责任;没有客户授权、历史账单或可稳定复现流程的团队,不适合直接转卖这项服务。

如果客户已有统一AI网关且任务单一,优先使用现成能力通常更划算;只有在多模型、多项目或混合算力造成归因困难,且现成工具无法给出可复验的任务级结果时,专项诊断才有参与空间。对独立开发者和小团队,当前最有价值的能力不是开发另一块成本看板,而是把模型消耗还原为任务成本,并据此决定路由、缓存、限流、交付范围和报价。