Amazon SageMaker JumpStart 推出 Model Leaderboard 模型榜单
Amazon SageMaker JumpStart 在 SageMaker Studio 中推出 Model Leaderboard,可在同一界面并列比较 JumpStart 模型的质量、速度和成本。
推荐理由:Amazon SageMaker JumpStart 新榜单采用统一测量口径呈现模型质量、性能和成本,便于按实际部署配置筛选和比较候选模型。
技术方向
让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。
41 条精选近 30 天 37 条共收录 107 条
Amazon SageMaker JumpStart 在 SageMaker Studio 中推出 Model Leaderboard,可在同一界面并列比较 JumpStart 模型的质量、速度和成本。
推荐理由:Amazon SageMaker JumpStart 新榜单采用统一测量口径呈现模型质量、性能和成本,便于按实际部署配置筛选和比较候选模型。
Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。
推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。
Google DeepMind 发布 Gemini 4 Neon,面向复杂软件工程、知识工作和科学研究提供快速端到端任务执行能力。模型支持 1 million-token 上下文窗口,定价为每百万输入 token $3、每百万输出 token $15,并提供四档思考等级。
推荐理由:Gemini 4 Neon 提供四档思考等级、百万 token 上下文和面向生产环境的智能体能力,便于评估复杂工作流中的性能与成本权衡。
RadixArk 发布首个模型 DaisyRose-27B,该模型基于 Qwen3.8-27B,使用 Miles 通过强化学习完成后训练。训练使用约 1,200 个精选任务,在 18 天内动用 144 张 H200 GPU,支持最长 1M tokens 的会话,并将 Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0%。
推荐理由:RadixArk 公开了长程智能体后训练的数据、训练后端与沙箱方法,便于读者比较其效率收益与复现条件。
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。
推荐理由:文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。
Artificial Analysis 评测显示,OpenAI 的 GPT-6.2 Astra 和 GPT-6.2 Sol 位居其智能指数第二,仅落后于 Claude Fable 5.2。
推荐理由:评测同时呈现智能、任务成本、科学知识、3D、机器人与编码表现,为比较两款模型的权衡提供了具体依据。
Fireworks 评测 Kimi K3.1 Pro 在智能体任务中的表现,其在 17 项共同基准中的 14 项高于 Kimi K3。K3.1 Pro 在遗留代码维护和银行客服任务上表现更强,但在记忆创建、合同审查和员工关系重建等任务上出现回退。
推荐理由:Fireworks 按任务拆解质量、成本和时延差异,并模拟模型路由,适合评估单一替换之外的组合收益。
NVIDIA Vera Rubin 平台首次亮相 MLPerf 评测,并在训练、后训练和智能体推理基准中取得领先性能。平台通过了 MLPerf Training v6.1 的全部项目,Vera Rubin NVL72 单 GPU 性能最高达到 GB300 NVL72 的 2 倍,扩展至 1,024 块 GPU 时效率约 97%,训练时间由 16 分钟缩短至约 4 分钟。
推荐理由:原文汇总了 Vera Rubin 在训练、扩展效率与智能体推理上的基准表现,便于横向比较其性能和能效。
Anthropic 报告称,Claude 求解了理论物理中两个与黑洞和量子引力有关的开放问题。Claude 证明 Hawking-Page 相变在弱耦合极限下仍是突变,并求出模块化 bootstrap 方法对三维量子引力中最轻黑洞质量的精确上限,Λ 约为 9.1266,同时证明该上限不可继续降低。
推荐理由:Anthropic 详细说明了 Claude 求解两个黑洞物理开放问题的推导路径、关键结果与验证过程。
Google 开放 Antigravity 的 /teamwork、/boost 等智能体工具,并与 Gemini 4 Argon、Gemini 4 Carbon 和 Gemini 4 Hydrogen 配合用于研究、形式化验证、编码和系统优化。
推荐理由:文章同时给出多智能体工作流的设计机制、研究案例与性能数据,便于评估其对研究和工程流程的实际影响。
Edge0 开源 Edge0-145B 和 Edge0-120B,并发布统一推理框架与部署工具。Edge0-145B 可在兼容笔记本本地运行,报告峰值内存 29GB、解码速度 80+ tokens/s、提示词处理速度 1,100+ tokens/s,并支持 128K–256K 上下文。
推荐理由:Edge0 同时开源模型、推理框架与部署工具,并给出内存、速度和基准数据,便于开发者复现及评估端侧方案。
Amazon 宣布 SGLang-Neuron 已公开可用,可通过 AWS Deep Learning Container 在 AWS Trainium 上部署模型并生成 RL rollouts。
推荐理由:文章提供容器启动、模型服务和请求验证的完整路径,并说明插件架构与多硬件支持,便于评估迁移和配置成本。
Anthropic 建议将 Claude Opus 5.5 作为研究、分析、写作及制作文档、表格和演示文稿的日常主力模型,该模型现已成为 Claude Pro、Max、Ultra 和 Team 套餐的默认模型。
推荐理由:文章按任务类型比较 Claude 各模型的速度与价格,并给出调整 effort、连接文件系统和直接生成成品等实用方法。
Amazon Bedrock 的缓存时长、服务层级、推理强度和 maxTokens 会影响推理成本,但具体影响取决于模型与工作负载。文章通过测试展示各类设置的计费差异、模型支持情况和适用场景,并建议结合响应元数据、CloudWatch 日志、调用记录与账单数据逐项验证。
推荐理由:文章通过对照测试说明缓存时长、服务层级、推理强度和输出上限如何影响 Bedrock 成本,并给出逐项验证与应用校准方法。
Google发布面向开发者和日常用户的Gemini 4 Hydrogen,提供low、medium、high和xhigh四档思考级别。
推荐理由:文章提供发布后的基准、价格与独立评测对照,可用于比较Hydrogen与Argon在能力、速度和成本上的取舍。
AWS 介绍使用开源反统一引擎对形式化策略进行语义差异分析,通过 e-graph 和声明的代数规则消除表达顺序等表面变化。教程以 Cedar、Dogwood、OpenShell 和 CEL 策略为例,演示如何定位被弱化的授权条件、遗漏的路径限制及阈值边界差异,并提供构建与运行命令。
推荐理由:文章给出可运行的语义差异分析流程,并展示其如何从形式化策略中定位被弱化的条件和边界差异。
Google 发布 Gemini Decisions API 和新模型 Gemini Decision 1,通过 Gemini API 与 Google AI Studio 提供封闭式决策能力。
推荐理由:原文给出 API 的输入上限、延迟与计费方式,并对比现有 Gemini 方案,便于评估封闭式决策场景的成本和性能。
Moonshot AI 的 Kimi K3.1 Pro Highspeed 已上线 Amazon Bedrock,配备 1-million-token 上下文窗口,Moonshot AI 称其输出速度为 Kimi K3.1 Pro 的 2–3 倍。
推荐理由:提供了模型接入、推理档位、提示词缓存和 OpenCode 接入示例,并给出 Flex 成本与区域路由取舍。
OpenRouter 在 2026 年 10 月 20 日对 Qwen3.8 27B 的 6 个端点进行测试,未发现 fp8、fp4 与 fp16 在 240 项计分任务中的准确率差异,但低精度通常更便宜。文章还分析了 1,455 个端点的量化标注、价格和速度,并说明如何通过 provider.quantizations 筛选精度及处理端点故障。
推荐理由:文章结合端点数据、价格比较与 provider.quantizations 配置说明,呈现量化精度选择对 API 质量、成本和可用性的实际影响。