跳到正文
热点事件历史事件

Co-Design Bench检验编码智能体真实任务完成率

1 篇报道1 个报道来源11 天前更新

先了解这件事

AI 综述

Alibaba与亚洲多所大学研究人员发布基于真实用户变更请求的编码智能体基准Co-Design Bench,测试结果显示,10个模型平均满足约70%的任务要求,但完全正确的任务仅占26.4%;部分模型在现有编码基准上的得分已超过99%。 研究还发现,同一模型在不同运行环境下得分可从75%降至56%,因此作者建议同时报告模型和工作环境。该基准每个任务只设置一个固定请求,不包含用户追问或中途修改,且AI评审可能出错;只有应用中实际可用的功能才计分。

AI 根据报道生成 · 11 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月8日
  1. The Decoder
    Alibaba与亚洲高校团队构建 Co-Design Bench,测试编码智能体真实任务完成率

    Alibaba与亚洲高校团队构建 Co-Design Bench,用真实用户变更请求测试编码智能体。在测试的 10 个模型中,GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的任务仅占 26.4%;现有编码基准上的部分模型得分已超过 99%。研究还发现,同一模型在不同运行环境下得分可从 75% 降至 56%,因此作者建议同时报告模型与工作环境。