跳到正文

编码智能体模型评测:国内交付团队用单任务成本配置默认模型与报价上限

国内

编码智能体的模型选型属于AI交付中的模型评测与成本核算环节。公开榜单、每百万Token价格或开发人员的手感只能回答模型大致好不好、单次调用贵不贵,不能回答一项代码修改究竟要花多少钱。Airbnb最近公开了一套更接近经营现场的方法:先在自有工程任务上同时测质量和单任务成本,发布后再用延迟、限流、缓存消耗和实际请求行为复评模型。

对已有软件外包或AI编码交付的国内微型团队,这套方法的价值在于把临时试用变成可执行规则:每类交付任务使用什么默认模型、允许多高推理强度、故障时切到哪里,以及一项可验收修改的预算上限,都不再只由技术偏好决定。

Airbnb首先建立固定任务集,而不是拿一条示例提示词横向比较。任务来自真实代码修改、评审意见和工单中没有明确写出的决策,每项任务都保留初始仓库状态、工程师实际会写的提示词、时间与计算资源限制,以及可信的自动评分器。其评测分为七组,Agent在隔离工作区运行,数百个任务可由多个工作区并行执行,评分后即可比较每个模型在各组任务上的分数和成本。

这里最重要的口径是“单任务成本”,而不是单次请求价格。一个编码Agent完成修改通常会多次请求模型,并在后续轮次重新携带此前上下文。Airbnb把未缓存输入、缓存读取、缓存写入和输出分别计价,再汇总一项任务内的全部请求;评测时,低分尝试产生的费用也计入平均成本。团队据此可以为不同模型和推理强度设置默认项,并限制允许的最高推理强度。原文一个内部测试显示,同一模型从低推理强度提高到高推理强度,质量分只提高0.8分,单任务成本却达到2.5倍。

Airbnb的方法还把离线评测与生产复盘连在一起。模型A上线前,在自有任务上的得分比原模型高3分多,单任务成本大致相同;可上线后,重度用户周支出明显增加。原因不是输出Token,而是用户开始更长时间地自主运行Agent,反复读取缓存上下文:模型A单次请求成本约为旧模型3倍,平均请求数也约为3倍,而输出Token只占单次请求成本的十分之一。离线评测衡量的是Agent完成一项任务,生产数据则揭示人们如何实际使用它。

Airbnb随后复评出一个得分更高、单任务成本约为模型A六分之一的新模型,并仅通过配置切换迁移用户。同一批重度用户首个完整周的主要模型请求量大致不变,模型支出降至约七分之一。这个结果来自Airbnb内部的AirChat、统一网关、CloudWatch指标、模型准入和配额管理,不能直接证明国内团队也会获得相同降幅。它能支持的是一套可迁移的评测与复盘机制,而不是一个成本承诺。

国内团队无需先购买Amazon Bedrock或CloudWatch,也不必建设大型评测平台。先从10至30个真实但已脱敏的修改请求开始,每项保留初始状态、提示词、模型与工具配置、超时限制、测试命令和人工验收标准。评分不能只看回答是否像正确答案,还应检查整项修改是否通过测试,并记录人工清理时间、缺陷逃逸和返工次数。

随后在同一批任务上比较两至三个团队本来就在使用的模型。每轮至少记录未缓存输入、缓存读取、缓存写入、输出、工具调用、失败重试、总请求数和总任务成本。如果使用国产API,就按当期真实价格表计算,不要把海外刊例价换算后直接套用。模型通过质量门槛后再比较成本;便宜但需要大量人工清理的模型,不一定是低价模型。

评测结果要直接进入配置和报价。每类任务可以指定一个默认模型、一个质量相近且能处理限流或故障的等效备选,以及允许的推理强度上限。团队还可以设置单次任务总预算和最大请求次数,超过阈值后转人工确认。报价时应按一项可验收修改计算完整费用,而不是只按Token转售;人工清理、失败重试和客户返工都应进入成本基线。

生产复盘至少每周检查四项:每名开发者或每类任务的单任务成本、请求次数分布、缓存读取占比和返工时间。模型、工具或系统提示发生变化,都应视为一次重新部署。如果生产消耗明显高于评测结果,先区分是用户改变了工作方式、上下文重复过多,还是工具调用失败,再决定调整模型、预算还是使用方式。

这项方法适合已有真实代码交付历史、能够取得客户代码授权,并拥有测试命令或人工验收规则的国内个人开发者、2—3人软件团队和内部开发者工具顾问。没有稳定验收标准的团队,应先补齐测试与复核流程;缺乏可复现评分器和历史任务时,也不宜把模型评测包装成独立对外服务。

Airbnb案例真正带来的变化,是把默认模型、等效备选、推理强度和预算上限连成一套持续复评机制。国内团队应采用这一机制管理自己的交付成本与报价,但是否显著改善毛利,仍要以自己的真实任务费用、人工清理和返工数据为准,不能直接套用七分之一的内部结果。