跳到正文
热点事件历史事件

AI模型审计误报与漏报研究

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

Andy Hall 复现并扩展 METR 研究,在 MALT 和 R-Judge 数据集上比较 GPT-5、GPT-6 Astra、Opus 4.8 与 Gemini 3.8 Flash 审查智能体异常及误报率,但该研究仍属试点,暂不能据此确认模型的普遍审计能力。 奖励欺骗评估仅包含47个案例,单个案例就会使比例变化约2个百分点;故意表现不佳案例大多由研究者合成,并通过隐藏破坏指令构造。Hall为保持可比性基本沿用原提示词,Fable 5和Opus 5因拒绝执行而未参加评估。

AI 根据报道生成 · 12 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月8日
  1. The Decoder
    Andy Hall 研究 AI 审查智能体异常的效果与误报率

    Andy Hall 复现并扩展 METR 研究,比较 GPT-5、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 审查智能体异常的表现。