跳到正文
The Decoder· Jonathan Kemper·· 11 天前AI 评分63

Alibaba与亚洲高校团队构建 Co-Design Bench,测试编码智能体真实任务完成率

AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test

AI 导读

Alibaba与亚洲高校团队构建 Co-Design Bench,用真实用户变更请求测试编码智能体。在测试的 10 个模型中,GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的任务仅占 26.4%;现有编码基准上的部分模型得分已超过 99%。研究还发现,同一模型在不同运行环境下得分可从 75% 降至 56%,因此作者建议同时报告模型与工作环境。

来源:The Decoder · the-decoder.com