Amazon SageMaker JumpStart 推出 Model Leaderboard 模型榜单
Amazon SageMaker JumpStart 在 SageMaker Studio 中推出 Model Leaderboard,可在同一界面并列比较 JumpStart 模型的质量、速度和成本。
推荐理由:Amazon SageMaker JumpStart 新榜单采用统一测量口径呈现模型质量、性能和成本,便于按实际部署配置筛选和比较候选模型。
Amazon SageMaker JumpStart 在 SageMaker Studio 中推出 Model Leaderboard,可在同一界面并列比较 JumpStart 模型的质量、速度和成本。
推荐理由:Amazon SageMaker JumpStart 新榜单采用统一测量口径呈现模型质量、性能和成本,便于按实际部署配置筛选和比较候选模型。
Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。
推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。
Astra for Law 在一项覆盖 24 个法律领域的发布评测中排名第一。所有 ChatGPT Enterprise 客户现均可申请使用该产品。
NVIDIA Vera Rubin 平台首次亮相 MLPerf 评测,并在训练、后训练和智能体推理基准中取得领先性能。平台通过了 MLPerf Training v6.1 的全部项目,Vera Rubin NVL72 单 GPU 性能最高达到 GB300 NVL72 的 2 倍,扩展至 1,024 块 GPU 时效率约 97%,训练时间由 16 分钟缩短至约 4 分钟。
推荐理由:原文汇总了 Vera Rubin 在训练、扩展效率与智能体推理上的基准表现,便于横向比较其性能和能效。
XYBench论文发布8,115个真实问题组成的评测集,用于检验 AI 助手能否识别用户请求背后的错误前提并提供符合实际目标的建议。
OpenAI 与 Apollo Research、METR、Transluce 和 Goodfire 启动嵌入式评估第一阶段。四家机构将独立评估模型对齐、安全防护和监控系统,以检验相关机制的实际表现。
AWS 开源 Universal Agent Evaluation Framework(UAEF),通过适配器统一不同框架的执行轨迹,并用 36 项内置指标从 7 个维度评估 AI 智能体。
推荐理由:文章给出统一适配、指标选择、数据集准备与实验对比流程,便于跨框架建立可复用的智能体评估闭环。
Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。
推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。
NVIDIA 在 CoRL 推出开放机器人技术,包括基于 Cosmos 的 GR00T 2、Isaac Lab 3.0、评测框架和智能体工作流。GR00T 2 在每项任务仅提供一次演示时取得 71% 平均成功率,提供五次时升至 95%;Isaac Lab 3.0 搭配 Newton 的训练吞吐量最高达到 Isaac Lab 2.3 搭配 PhysX 的 2.5x。
推荐理由:原文集中呈现了仿真训练、策略评测与智能体编排如何衔接,为机器人从实验室训练走向工业部署提供可迁移的技术脉络。
OpenAI 推出 BioBasicsBench,这项包含 100 个任务的基准用于衡量 AI 智能体解读原始实验数据和应对日常湿实验室科学工作的能力。
AllenAI 发布 ToyBlocks,一个围绕机械臂与桌面积木构建的开放机器人学习与评测框架,并公开仿真资产、任务与示范生成器、模型、训练代码、评测代码和验证集。
推荐理由:ToyBlocks将自动任务与示范生成、模型训练和评测置于同一受控环境,并公开数据、代码与验证集,便于系统研究机器人学习中的泛化、规划和失败模式。
NVIDIA发布Vera CPU,兼顾AI智能体执行速度与每瓦容量。在100-megawatt数据中心对比中,Vera每瓦可支持1.6x更多智能体,相比最高能效的x86 CPU实现2x智能体速度。Perplexity、DeepInfra、ClickHouse、Daytona和Modal等合作方已开展生产环境测试,其中Daytona以Vera在10.8秒内上线1,000个智能体沙箱。
推荐理由:通过与x86 CPU对比及合作伙伴实测,呈现Vera在智能体吞吐量、能耗效率和并发能力上的表现。
Gradium 发布 Phonon 端侧文本转语音模型,可在无服务器、无网络条件下生成语音,并开放模型权重。Phonon 31m 采用 Apache 2.0 许可,支持英语;另一个 40m 版本覆盖英语、法语、德语、西班牙语和葡萄牙语。
推荐理由:Phonon提供了离线运行、多语言支持和公开权重,榜单成绩与部署方式可供开发者评估实际采用价值。
OpenAI 推出 LifeVal,一项用于衡量 AI 协助人们完成日常任务表现的 benchmark。评估场景包括寻找儿童照护、管理个人财务以及处理政府文书等,聚焦 AI 在实际生活任务中的帮助能力。
Microsoft 构建 Industry Evaluation Data Generation Platform,以合成企业环境评估 Microsoft Copilot 在真实业务场景中的表现。该平台结合 O*NET、在线职位信息和 SEC 文件生成完全合成的测试环境,并通过自动化查询管线和质量框架建立首个标准化评估基线;内容安全检查用于排除有害及个人可识别信息。
Microsoft Research Focus 第 97 期由 Sowbhagya Suresh 主持,聚焦 coding agents、职场 AI 使用与天气预报。
Mistral AI 发布首个时间序列基础模型家族 Timestral,提供 5M、28M、123M 和 209M 四种规模,支持概率预测、多变量目标、过去协变量和已知未来协变量。
推荐理由:Timestral 提供四种规模与多种部署方式,并公开基准成绩、训练方法和代码,便于评估其在企业预测场景中的适配与成本。
Microsoft Research 提出研究系统 StudentSim,利用公开且去标识化的学习者记录训练个性化学生模拟器,在接触真实学习者前评估并改进 AI 辅导系统。同步推出覆盖国际象棋、第二语言英语写作和数学的 StudentSimEval,以行为忠实度和指导响应性评估模拟器。模拟器表现优于领先基线,但目前并非产品,也未部署于课堂或用于替代教师。
GitHub 发布 ReviewBench,一个用于评估 AI 代码审查智能体的开放基准,包含 219 个来自 187 个开源仓库、覆盖 19 种语言的公开拉取请求。
推荐理由:公开了完整数据集、评分规则与提交流程,便于不同代码审查智能体在统一配置下比较并复现实验结果。