跳到正文
The Decoder· Maximilian Schreiner·· 15 天前AI 评分57

开源基准 CloudOpsBench 揭示 AI 在云运维中的主要瓶颈是推理

New open-source benchmark reveals reasoning as the biggest bottleneck for AI in cloud operations

AI 导读

CloudOpsBench 1.0 发布 45 个 AWS DevOps 任务,用于评估 AI 智能体在修复服务、调整权限、发布更新和下线项目等云运维操作上的表现。Claude Fable 5.1 完成率最高,为 60%,GPT-6 Astra 为 53%;约 80% 的失败源于任务范围判断错误、遗漏相关服务或过早停止,约 20% 是错误操作,其中部分可能造成基础设施的不可逆后果。

来源:The Decoder · the-decoder.com