跳到正文
Latent Space· Richard MacManus·· 21 天前AI 评分58

Elorian 与 Mercor 发布 DecoyCount 视觉推理评测

Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning

AI 导读

Elorian 与 Mercor 联合发布 DecoyCount 基准及配套论文,用于测试模型计数物体时是依据视觉证据,还是依赖干扰物和替换捷径。论文显示,前沿模型准确率均低于 50%,最高为 GPT-6 Astra 的 43.17%;Glimpse 在内部测试中达到 50.48%,但该结果来自模型单次运行,而论文中的其他模型取 3 次运行平均值。

来源:Latent Space · latent.space