Latent Space· Richard MacManus·· 21 天前AI 评分58
Elorian 与 Mercor 发布 DecoyCount 视觉推理评测
Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning
AI 导读
Elorian 与 Mercor 联合发布 DecoyCount 基准及配套论文,用于测试模型计数物体时是依据视觉证据,还是依赖干扰物和替换捷径。论文显示,前沿模型准确率均低于 50%,最高为 GPT-6 Astra 的 43.17%;Glimpse 在内部测试中达到 50.48%,但该结果来自模型单次运行,而论文中的其他模型取 3 次运行平均值。
来源:Latent Space · latent.space