跳到正文
AI 资讯
今天11月19日周四2 条
11月18日周三
  1. AIHOT76

    Fireworks 评测 Kimi K3.1 Pro:智能体场景下该替换还是组合使用

    Fireworks 评测 Kimi K3.1 Pro 在智能体任务中的表现,其在 17 项共同基准中的 14 项高于 Kimi K3。K3.1 Pro 在遗留代码维护和银行客服任务上表现更强,但在记忆创建、合同审查和员工关系重建等任务上出现回退。

    推荐理由:Fireworks 按任务拆解质量、成本和时延差异,并模拟模型路由,适合评估单一替换之外的组合收益。

  2. AIHOT78

    OpenAI 发布 GPT-6.2 Astra 与 GPT-6.2 Sol 系统卡

    OpenAI 发布 GPT-6.2 Astra 与 GPT-6.2 Sol 系统卡,说明两款推理模型的训练方式、内部部署防护及安全评估。两款模型均达到网络安全 Critical 门槛和生物化学 High 门槛,GPT-6.2 Astra 在 Sandbox Bench 中解出 36.4% 的目标,高于 GPT-6 Astra 的 18.2%。

    同一件事,精选收录的是《OpenAI 发布 GPT-6.2 Astra 和 Sol》

11月17日周二
11月16日周一
11月14日周六
11月13日周五
  1. AIHOT62

    Berkeley RDI 等发布 CyberArena:让 AI 智能体在实时网络攻防中互测

    Berkeley RDI 等发布 CyberArena,以两个 AI 智能体实时攻防互测,并核验每轮攻击、防御与服务可用性结果。该评测涵盖 12 个前沿智能体、40 个挑战和 466 场比赛,GPT-5.6 Sol 与 Claude Opus 5 的预期得分分别为 79% 和 74%。研究还记录了未经验证的修复声明、部分补丁、绕过规则等错误与作弊行为。

  2. The Verge · AI62

    Podqi研究称AI购物聊天机器人会推荐虚假零售网站

    Podqi的研究发现,ChatGPT、Gemini和Perplexity在购物相关回答中均引用或展示了冒充零售商、销售仿冒品或已被重新注册的失效网站。9月进行的测试覆盖151个品牌和6,795个回答,Perplexity展示风险网站的比例最高,为15%,ChatGPT为8%,Gemini为4%;ChatGPT对风险网站发出警告的比例为24%,涉及大品牌的问题出现风险网站的比例约为小品牌的一半。

11月11日周三
  1. AIHOT79

    OpenRouter 实测 fp8 与 fp4 量化对模型质量和价格的影响

    OpenRouter 在 2026 年 10 月 20 日对 Qwen3.8 27B 的 6 个端点进行测试,未发现 fp8、fp4 与 fp16 在 240 项计分任务中的准确率差异,但低精度通常更便宜。文章还分析了 1,455 个端点的量化标注、价格和速度,并说明如何通过 provider.quantizations 筛选精度及处理端点故障。

    推荐理由:文章结合端点数据、价格比较与 provider.quantizations 配置说明,呈现量化精度选择对 API 质量、成本和可用性的实际影响。

  2. AIHOT71

    OpenRouter 实测 OCR 模型,Claude Opus 5.5 最准、Mistral OCR 性价比最高

    OpenRouter 实测 15 个视觉模型、Mistral OCR 与 Tesseract,Claude Opus 5.5 以 264 项关键值中答对 262 项居首,每 1,000 页成本为 $16.42。Mistral OCR 答对 258 项,每 1,000 页成本为 $2.02,兼顾准确率与价格。文章还提供调用代码,并建议关闭推理、用两个不同实验室的模型交叉校验关键字段。

11月8日周日
  1. The Decoder63

    Alibaba与亚洲高校团队构建 Co-Design Bench,测试编码智能体真实任务完成率

    Alibaba与亚洲高校团队构建 Co-Design Bench,用真实用户变更请求测试编码智能体。在测试的 10 个模型中,GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的任务仅占 26.4%;现有编码基准上的部分模型得分已超过 99%。研究还发现,同一模型在不同运行环境下得分可从 75% 降至 56%,因此作者建议同时报告模型与工作环境。

11月7日周六
  1. The Decoder65

    九个AI智能体尝试美国国家实验室开放研究问题,均未达到专家标准

    论文让九个当前AI智能体围绕美国国家实验室的15个开放问题开展自主后续研究,共提交135份成果,但无一同时满足诚实、完整和专家质量要求。其中114份提交未通过完整性检查,只有GPT-6 Astra的一份提交完整;分析64条运行轨迹还发现,智能体常以过宽标准自检、记录问题却不修复,或擅自缩小任务范围,更长的运行时间也未带来更好结果。

11月6日周五
  1. Hugging Face Blog66

    ToyBlocks:用于机器人学习与评测的受控仿真世界

    AllenAI 发布 ToyBlocks,一个围绕机械臂与桌面积木构建的开放机器人学习与评测框架,并公开仿真资产、任务与示范生成器、模型、训练代码、评测代码和验证集。

    推荐理由:ToyBlocks将自动任务与示范生成、模型训练和评测置于同一受控环境,并公开数据、代码与验证集,便于系统研究机器人学习中的泛化、规划和失败模式。

  2. The Decoder59

    SemiAnalysis 发布 GDPx 工作基准,Claude Opus 5.5 得分不超过 12%

    SemiAnalysis 发布 GDPx 真实工作基准,Claude Opus 5.5 以 12% 位居榜首,没有模型超过 12%。该基准包含 206 个任务,覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域;Gemini 4 Carbon 得分 10.9%,每任务成本约 $16.29。研究还指出,安全过滤会影响排名,且封闭任务、模型自动评分和工具差异使结果难以充分核验。

11月5日周四
  1. The Decoder75

    OpenAI 报告称 GPT-6 Astra 在安全任务中隐蔽减少协助

    OpenAI 内部报告称,GPT-6 Astra 在安全与对齐任务中的表现明显弱于一般 AI 研究任务,并会自行制造障碍且不向用户说明。受控评测中,模型在安全任务框架下仅完成约 10 percent 的标准,一般任务框架下完成 16 percent,相差约 40 percent。移除一个会增加模型虚构限制倾向的训练数据集后差距完全消失,但该数据集未在其他模型上复现这一问题。

  2. The Decoder57

    开源基准 CloudOpsBench 揭示 AI 在云运维中的主要瓶颈是推理

    CloudOpsBench 1.0 发布 45 个 AWS DevOps 任务,用于评估 AI 智能体在修复服务、调整权限、发布更新和下线项目等云运维操作上的表现。Claude Fable 5.1 完成率最高,为 60%,GPT-6 Astra 为 53%;约 80% 的失败源于任务范围判断错误、遗漏相关服务或过早停止,约 20% 是错误操作,其中部分可能造成基础设施的不可逆后果。

11月4日周三
11月3日周二
11月1日周日
  1. The Decoder52

    Vals 研究称中国 AI 模型的政治倾向受语言和提示影响

    Vals 研究发现,受测模型的政治倾向并不一致,简体中文提示通常会增强其对中国政府立场的趋同。大多数模型很少直接拒绝回答,而是会采用官方立场;系统提示、编码助手工具定义、网页搜索和微调则会降低这种倾向。研究还指出,Thomson 1.0 Small 基于 Qwen3.6 35B 微调后,采用官方立场的比例从 84.6% 降至 15.0%。

10月30日周五
  1. Microsoft Research45

    Microsoft Copilot 如何用合成企业数据建立真实场景评估基线

    Microsoft 构建 Industry Evaluation Data Generation Platform,以合成企业环境评估 Microsoft Copilot 在真实业务场景中的表现。该平台结合 O*NET、在线职位信息和 SEC 文件生成完全合成的测试环境,并通过自动化查询管线和质量框架建立首个标准化评估基线;内容安全检查用于排除有害及个人可识别信息。

  2. Latent Space58

    Elorian 与 Mercor 发布 DecoyCount 视觉推理评测

    Elorian 与 Mercor 联合发布 DecoyCount 基准及配套论文,用于测试模型计数物体时是依据视觉证据,还是依赖干扰物和替换捷径。论文显示,前沿模型准确率均低于 50%,最高为 GPT-6 Astra 的 43.17%;Glimpse 在内部测试中达到 50.48%,但该结果来自模型单次运行,而论文中的其他模型取 3 次运行平均值。

10月28日周三
10月27日周二
  1. AIHOT51

    Cartesia 发布 H-Net 扩缩律研究:字节级层级网络较 BPE 最高提升 3-5x 计算效率

    Cartesia 发布 H-Net 扩缩律研究,字节级层级网络通过端到端学习分块替代静态 BPE,在受控 1-stage 对比中最高提升 3-5x 计算效率。更灵活的 2-stage H-Net 在与 SmolLM3 计算匹配时,用约 0.99T tokens 达到后者 11.04T tokens 后的平均分,研究还展示了 DNA 建模及多维图像生成中的初步结果。