跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

28 条精选近 30 天 26 条共收录 125 条

更新

评测基准的精选

今天11月19日周四第 1–20 条
  1. AWS Machine Learning Blog79

    Airbnb 如何用单任务成本运营 Amazon Bedrock 编码智能体

    Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。

    推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。

11月18日周三
  1. AIHOT76

    Fireworks 评测 Kimi K3.1 Pro:智能体场景下该替换还是组合使用

    Fireworks 评测 Kimi K3.1 Pro 在智能体任务中的表现,其在 17 项共同基准中的 14 项高于 Kimi K3。K3.1 Pro 在遗留代码维护和银行客服任务上表现更强,但在记忆创建、合同审查和员工关系重建等任务上出现回退。

    推荐理由:Fireworks 按任务拆解质量、成本和时延差异,并模拟模型路由,适合评估单一替换之外的组合收益。

11月17日周二
  1. The Decoder81

    Alibaba 发布 Qwen4-Max,以更低价格对标 Opus 5.5、GPT-6 和 Kimi K3.1 Pro

    Alibaba 发布 Qwen4-Max,以更少激活参数和更低价格对标 Opus 5.5、GPT-6 与 Kimi K3.1 Pro。该 MoE 模型总参数量为 2.4 trillion,每个 token 激活 71 billion 参数,支持原生图像输入和 1 million-token 上下文窗口。

    推荐理由:架构、token 消耗与 API 定价数据齐全,读者可据此比较其与 Opus 5.5、GPT-6 等模型的性价比取舍。

  2. NVIDIA Blog65

    NVIDIA Vera Rubin 在 MLPerf 训练与端点评测中取得领先性能

    NVIDIA Vera Rubin 平台首次亮相 MLPerf 评测,并在训练、后训练和智能体推理基准中取得领先性能。平台通过了 MLPerf Training v6.1 的全部项目,Vera Rubin NVL72 单 GPU 性能最高达到 GB300 NVL72 的 2 倍,扩展至 1,024 块 GPU 时效率约 97%,训练时间由 16 分钟缩短至约 4 分钟。

    推荐理由:原文汇总了 Vera Rubin 在训练、扩展效率与智能体推理上的基准表现,便于横向比较其性能和能效。

11月13日周五
  1. Latent Space97

    黄仁勋领导 NVIDIA 33 年后辞任

    NVIDIA宣布黄仁勋在领导公司33年后辞去CEO、总裁及董事职务,Colette Kress继续担任CFO并出任临时CEO。董事会已启动CEO继任者搜寻,并聘请独立董事调查相关事件;本期AINews还汇总了Gemini 4 Hydrogen、开源模型及Agent工具等进展。

    推荐理由:文章梳理了黄仁勋离任后的临时管理安排、董事会调查与继任流程,并汇总同期模型、工具及开源进展。

11月12日周四
  1. AIHOT77

    OpenRouter 开放7种语言本地化 beta,全站翻译验证约 $460

    OpenRouter 从今天起开放简体中文、西班牙语、巴西葡萄牙语、德语、法语、日语和韩语的本地化 beta,用户可从账户菜单切换语言或访问对应语言路径。网站现有 16,918 条英文文案,其每日流水线由 GPT-6.1 Sol 翻译,经代码检查和同模型验证后通过 pull request 提交人工合并。当前全站重译并验证约需 $460,7种语言每日处理 677 条变更约需 $18。

    推荐理由:OpenRouter 公开了可复用的本地化流水线设计,包括代码校验、模型验证、失败重试和缺陷回灌机制。

11月11日周三
  1. Hugging Face Blog63

    Tether AI Research 发布 BotPsy 端侧智能体模型

    Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。

    推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。

  2. AIHOT79

    OpenRouter 实测 fp8 与 fp4 量化对模型质量和价格的影响

    OpenRouter 在 2026 年 10 月 20 日对 Qwen3.8 27B 的 6 个端点进行测试,未发现 fp8、fp4 与 fp16 在 240 项计分任务中的准确率差异,但低精度通常更便宜。文章还分析了 1,455 个端点的量化标注、价格和速度,并说明如何通过 provider.quantizations 筛选精度及处理端点故障。

    推荐理由:文章结合端点数据、价格比较与 provider.quantizations 配置说明,呈现量化精度选择对 API 质量、成本和可用性的实际影响。

11月10日周二
11月9日周一
  1. NVIDIA Blog73

    NVIDIA 在 CoRL 发布 GR00T 2、Isaac Lab 3.0 与机器人评测工具

    NVIDIA 在 CoRL 推出开放机器人技术,包括基于 Cosmos 的 GR00T 2、Isaac Lab 3.0、评测框架和智能体工作流。GR00T 2 在每项任务仅提供一次演示时取得 71% 平均成功率,提供五次时升至 95%;Isaac Lab 3.0 搭配 Newton 的训练吞吐量最高达到 Isaac Lab 2.3 搭配 PhysX 的 2.5x。

    推荐理由:原文集中呈现了仿真训练、策略评测与智能体编排如何衔接,为机器人从实验室训练走向工业部署提供可迁移的技术脉络。

11月6日周五
  1. Hugging Face Blog66

    ToyBlocks:用于机器人学习与评测的受控仿真世界

    AllenAI 发布 ToyBlocks,一个围绕机械臂与桌面积木构建的开放机器人学习与评测框架,并公开仿真资产、任务与示范生成器、模型、训练代码、评测代码和验证集。

    推荐理由:ToyBlocks将自动任务与示范生成、模型训练和评测置于同一受控环境,并公开数据、代码与验证集,便于系统研究机器人学习中的泛化、规划和失败模式。

  2. NVIDIA Blog60

    NVIDIA Vera CPU提升AI智能体吞吐量与执行速度

    NVIDIA发布Vera CPU,兼顾AI智能体执行速度与每瓦容量。在100-megawatt数据中心对比中,Vera每瓦可支持1.6x更多智能体,相比最高能效的x86 CPU实现2x智能体速度。Perplexity、DeepInfra、ClickHouse、Daytona和Modal等合作方已开展生产环境测试,其中Daytona以Vera在10.8秒内上线1,000个智能体沙箱。

    推荐理由:通过与x86 CPU对比及合作伙伴实测,呈现Vera在智能体吞吐量、能耗效率和并发能力上的表现。