跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。

41 条精选近 30 天 37 条共收录 107 条

更新

推理能力的精选

今天11月19日周四第 1–20 条
  1. AWS Machine Learning Blog79

    Airbnb 如何用单任务成本运营 Amazon Bedrock 编码智能体

    Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。

    推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。

  2. AIHOT84

    Google DeepMind 发布 Gemini 4 Neon 模型

    Google DeepMind 发布 Gemini 4 Neon,面向复杂软件工程、知识工作和科学研究提供快速端到端任务执行能力。模型支持 1 million-token 上下文窗口,定价为每百万输入 token $3、每百万输出 token $15,并提供四档思考等级。

    推荐理由:Gemini 4 Neon 提供四档思考等级、百万 token 上下文和面向生产环境的智能体能力,便于评估复杂工作流中的性能与成本权衡。

  3. Hugging Face Blog73

    RadixArk 发布 DaisyRose-27B,探索长程智能体后训练效率

    RadixArk 发布首个模型 DaisyRose-27B,该模型基于 Qwen3.8-27B,使用 Miles 通过强化学习完成后训练。训练使用约 1,200 个精选任务,在 18 天内动用 144 张 H200 GPU,支持最长 1M tokens 的会话,并将 Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0%。

    推荐理由:RadixArk 公开了长程智能体后训练的数据、训练后端与沙箱方法,便于读者比较其效率收益与复现条件。

  4. Hugging Face Blog64

    Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

    作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。

    推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。

11月18日周三
  1. AWS Machine Learning Blog65

    Amazon SageMaker AI 实时端点新增 KV cache 感知路由

    Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。

    推荐理由:文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。

  2. AIHOT76

    Fireworks 评测 Kimi K3.1 Pro:智能体场景下该替换还是组合使用

    Fireworks 评测 Kimi K3.1 Pro 在智能体任务中的表现,其在 17 项共同基准中的 14 项高于 Kimi K3。K3.1 Pro 在遗留代码维护和银行客服任务上表现更强,但在记忆创建、合同审查和员工关系重建等任务上出现回退。

    推荐理由:Fireworks 按任务拆解质量、成本和时延差异,并模拟模型路由,适合评估单一替换之外的组合收益。

11月17日周二
  1. NVIDIA Blog65

    NVIDIA Vera Rubin 在 MLPerf 训练与端点评测中取得领先性能

    NVIDIA Vera Rubin 平台首次亮相 MLPerf 评测,并在训练、后训练和智能体推理基准中取得领先性能。平台通过了 MLPerf Training v6.1 的全部项目,Vera Rubin NVL72 单 GPU 性能最高达到 GB300 NVL72 的 2 倍,扩展至 1,024 块 GPU 时效率约 97%,训练时间由 16 分钟缩短至约 4 分钟。

    推荐理由:原文汇总了 Vera Rubin 在训练、扩展效率与智能体推理上的基准表现,便于横向比较其性能和能效。

  2. AIHOT86

    Anthropic 报告 Claude 求解两个黑洞物理开放问题

    Anthropic 报告称,Claude 求解了理论物理中两个与黑洞和量子引力有关的开放问题。Claude 证明 Hawking-Page 相变在弱耦合极限下仍是突变,并求出模块化 bootstrap 方法对三维量子引力中最轻黑洞质量的精确上限,Λ 约为 9.1266,同时证明该上限不可继续降低。

    推荐理由:Anthropic 详细说明了 Claude 求解两个黑洞物理开放问题的推导路径、关键结果与验证过程。

11月14日周六
  1. Google Research78

    Google 开放 Antigravity /teamwork 与 /boost 多智能体工具

    Google 开放 Antigravity 的 /teamwork、/boost 等智能体工具,并与 Gemini 4 Argon、Gemini 4 Carbon 和 Gemini 4 Hydrogen 配合用于研究、形式化验证、编码和系统优化。

    推荐理由:文章同时给出多智能体工作流的设计机制、研究案例与性能数据,便于评估其对研究和工程流程的实际影响。

11月13日周五
  1. AIHOT80

    Edge0 开源 Edge0-145B 与 Edge0-120B 端侧模型及推理工具链

    Edge0 开源 Edge0-145B 和 Edge0-120B,并发布统一推理框架与部署工具。Edge0-145B 可在兼容笔记本本地运行,报告峰值内存 29GB、解码速度 80+ tokens/s、提示词处理速度 1,100+ tokens/s,并支持 128K–256K 上下文。

    推荐理由:Edge0 同时开源模型、推理框架与部署工具,并给出内存、速度和基准数据,便于开发者复现及评估端侧方案。

  2. AIHOT81

    Anthropic 建议将 Claude Opus 5.5 用作知识工作的日常主力模型

    Anthropic 建议将 Claude Opus 5.5 作为研究、分析、写作及制作文档、表格和演示文稿的日常主力模型,该模型现已成为 Claude Pro、Max、Ultra 和 Team 套餐的默认模型。

    推荐理由:文章按任务类型比较 Claude 各模型的速度与价格,并给出调整 effort、连接文件系统和直接生成成品等实用方法。

  3. AWS Machine Learning Blog62

    Amazon Bedrock 推理请求的四种成本控制选择

    Amazon Bedrock 的缓存时长、服务层级、推理强度和 maxTokens 会影响推理成本,但具体影响取决于模型与工作负载。文章通过测试展示各类设置的计费差异、模型支持情况和适用场景,并建议结合响应元数据、CloudWatch 日志、调用记录与账单数据逐项验证。

    推荐理由:文章通过对照测试说明缓存时长、服务层级、推理强度和输出上限如何影响 Bedrock 成本,并给出逐项验证与应用校准方法。

11月12日周四
  1. AWS Machine Learning Blog67

    AWS 介绍使用反统一分析形式化策略的语义差异

    AWS 介绍使用开源反统一引擎对形式化策略进行语义差异分析,通过 e-graph 和声明的代数规则消除表达顺序等表面变化。教程以 Cedar、Dogwood、OpenShell 和 CEL 策略为例,演示如何定位被弱化的授权条件、遗漏的路径限制及阈值边界差异,并提供构建与运行命令。

    推荐理由:文章给出可运行的语义差异分析流程,并展示其如何从形式化策略中定位被弱化的条件和边界差异。

11月11日周三
  1. AIHOT79

    OpenRouter 实测 fp8 与 fp4 量化对模型质量和价格的影响

    OpenRouter 在 2026 年 10 月 20 日对 Qwen3.8 27B 的 6 个端点进行测试,未发现 fp8、fp4 与 fp16 在 240 项计分任务中的准确率差异,但低精度通常更便宜。文章还分析了 1,455 个端点的量化标注、价格和速度,并说明如何通过 provider.quantizations 筛选精度及处理端点故障。

    推荐理由:文章结合端点数据、价格比较与 provider.quantizations 配置说明,呈现量化精度选择对 API 质量、成本和可用性的实际影响。