跳到正文

真实编码任务完整通过率仅26.4%:微型团队把Full pass纳入质量门禁

国内

AI写代码后的质量门禁正在出现一个更严格的衡量口径:模型可能满足大多数单条要求,却仍然没有完整交付任务。Co-Design Bench在统一的Claude Code harness下测试了10个模型端点,表现最好的gpt-6-astra在多模态编辑轨道上的Strict为69.9%,但要求一项任务的全部标准均通过的Full pass只有26.4%。这意味着,只看模型榜单或局部得分,不能回答客户最终拿到的是否是可验收成果。

这个基准不是一组静态编程题。完整论文评测包含273项真实应用修改任务和2331条专家编写的验收标准,来源包括真实用户编码会话,并分为多模态编辑与仓库编辑两类。任务可能附带图片、音频、视频或文档,要求智能体修改一个可运行的应用或代码库,再结合源码、运行界面和交互证据检查结果。仓库提供命令行评测工具、公开的多模态编辑数据子集和完整任务排行榜,读者可以检查或复现其中一部分。

对国内已有AI编程流程的软件外包和微型开发团队,这次变化带来的直接动作不是再采购一个编码助手,也不是立刻对外宣称提供新的“智能体验收服务”,而是把现有仓库里的交付验收改成整任务口径。评测时至少要固定五项输入:模型与版本、harness或智能体运行配置、可用工具及权限、构建和测试命令、每个需求的验收标准。缺少其中任何一项,最终差异都可能来自工作环境,而不是模型本身。

项目仓库已经给出可执行的评测方法。团队可以先用公开任务验证工具链,再把自有仓库中的真实变更请求改造成固定用例:先冻结原始需求和可运行版本,再记录智能体提交后的代码与运行证据,最后逐条判断需求是否满足。对于跨文件修改、状态保持、界面与数据流联动等任务,还要把“不能破坏原有行为”写成独立标准,避免智能体只完成新增功能,却破坏原有路径。

建议至少同时保留三项指标。第一是Strict,只有完全满足才得分;第二是Graded,允许部分满足获得一半分,用来观察局部进展;第三是Full pass,要求同一任务的全部标准都通过,它最接近“客户是否真正拿到完整成果”。如果只报告Graded或模型榜单,就可能把“大部分做了”误当成“可以验收”。对报价和排期,还可以把Full pass比例与人工清理时间放在一起,观察AI加速后是否仍有净收益。

公开仓库与完整论文评测的覆盖范围并不相同。代码仓库公开的是多模态编辑子集;完整论文评测中的仓库编辑任务不在当前公开子集内,数据归档也采用单独分发方式。复现论文结果还需要完整基础设施、证据审计和相应依赖。因此,国内团队不能把公开样例的高分直接外推到自己的生产仓库,但可以用它检验自己的评测脚本、证据采集和评分流程,再换成经过脱敏的真实任务。

这项评测也能纠正工具选型中的常见误区。Co-Design Bench在相同harness和固定专家标准下比较模型,说明模型名称或单条标准得分不足以构成完整的生产选型依据。对准备采用多个模型或多个智能体工具的团队,更有价值的不是追逐一个总榜冠军,而是用同一批自有变更请求比较完整通过率、人工清理时间、运行成本和缺陷逃逸。

如果要在已有开发项目中测试这项能力,交付物可以是一份仓库级评测基线,包括脱敏任务集、验收标准、运行配置、逐条判定结果和失败分类。适合的参与对象是已经拥有代码、测试环境和真实历史变更请求的软件外包团队或内部开发者工具顾问。缺少仓库权限、稳定测试命令或人工验收结果的团队,不适合直接承诺独立验收服务。

现有公开材料能够证明基准、评测工具和结果口径已经公开,也能支持微型团队改善自己的交付质量;但它没有证明国内客户会单独为Co-Design评测或第三方验收服务付费,也没有证明按该基准打分可以直接决定合同验收。更稳妥的经营判断是:把Full pass加入已有AI代码审查与质量门禁,先用于内部选型、排期和返工复盘;只有在具体客户明确提出减少返工、缩短交付周期或建立可审计验收的需求,并且任务集和评分规则能够在后续项目中复用时,才有依据把它扩展为外部交付。