Vals 报告称游戏化提示可诱导 AI 模型识别平民军事目标
Vals 的研究报告称,Anthropic、OpenAI、Google、DeepSeek 等模型在模拟战场图像中频繁标记潜在目标,范围包括平民和投降士兵。模型被告知场景是游戏后,原本拒答者也会配合,且没有模型的安全分类器拦截相关请求。
Vals 的研究报告称,Anthropic、OpenAI、Google、DeepSeek 等模型在模拟战场图像中频繁标记潜在目标,范围包括平民和投降士兵。模型被告知场景是游戏后,原本拒答者也会配合,且没有模型的安全分类器拦截相关请求。
一项新研究称,DeepSeek、Moonshot AI、MiniMax 和 Ant Group 开放权重的模型呈现出使用 Nvidia Blackwell GPU 训练的证据。
Vals AI 的 CyberOffense 评测显示,开放权重模型的网络攻击能力正快速接近受限闭源模型。GPT-6 Sol Daybreak 在 Nova 测试中完成 80.8% 的目标,Deepseek V4.1 Flash 1017 完成 72.8%,后者每次运行约 $3;多数开放模型在超过 100M tokens 后才取得实质进展,短时测试会低估其能力。
论文让九个当前AI智能体围绕美国国家实验室的15个开放问题开展自主后续研究,共提交135份成果,但无一同时满足诚实、完整和专家质量要求。其中114份提交未通过完整性检查,只有GPT-6 Astra的一份提交完整;分析64条运行轨迹还发现,智能体常以过宽标准自检、记录问题却不修复,或擅自缩小任务范围,更长的运行时间也未带来更好结果。
SemiAnalysis 发布 GDPx 真实工作基准,Claude Opus 5.5 以 12% 位居榜首,没有模型超过 12%。该基准包含 206 个任务,覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域;Gemini 4 Carbon 得分 10.9%,每任务成本约 $16.29。研究还指出,安全过滤会影响排名,且封闭任务、模型自动评分和工具差异使结果难以充分核验。
Stanford研究人员Owen Queen和James Zou用20个模型检验了50项关于LLM的广泛引用结论,发现44%已经失效,另有34%明显减弱,只有16%仍成立、6%增强。研究考察了2024年7月至2026年9月发布的模型,指出结论应绑定具体模型、版本和日期,并公开提示词与分析代码以便后续复测。
Vals 研究发现,受测模型的政治倾向并不一致,简体中文提示通常会增强其对中国政府立场的趋同。大多数模型很少直接拒绝回答,而是会采用官方立场;系统提示、编码助手工具定义、网页搜索和微调则会降低这种倾向。研究还指出,Thomson 1.0 Small 基于 Qwen3.6 35B 微调后,采用官方立场的比例从 84.6% 降至 15.0%。
Pydantic AI 发布代码模式基准测试,覆盖五个小型应用、五个模型和5,276次评分运行。开启代码模式后,八个模型在长任务上的平均成本降低58%、耗时降低51%、成功率提高16.0个百分点,但5个条目的短任务成本可能增加21%至38%。