跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

127 条精选近 30 天 120 条共收录 324 条

更新

精选归档 · 第 4 页

11月11日周三第 61–80 条
  1. Google DeepMind60

    Google DeepMind 发布 AlphaGenome 2 DNA 序列模型

    Google DeepMind 发布 AlphaGenome 2,用于预测 DNA 序列及其变异对特定人类细胞类型的影响。模型基于超过 1.07 亿个细胞谱和 68 种组织训练,在 TenK10K 数据集上识别的因果变异比例为 30%,高于原始模型的 16%,并可预测未见过的细胞状态。AlphaGenome 2 已通过 AlphaGenome API 面向非商业研究开放,商业研究处于私有预览阶段。

    推荐理由:AlphaGenome 2 将 DNA 变异预测细化到具体细胞类型,并提供跨模态补全能力,读者可据此评估其对单细胞遗传研究的应用价值。

  2. AIHOT79

    OpenRouter 实测 fp8 与 fp4 量化对模型质量和价格的影响

    OpenRouter 在 2026 年 10 月 20 日对 Qwen3.8 27B 的 6 个端点进行测试,未发现 fp8、fp4 与 fp16 在 240 项计分任务中的准确率差异,但低精度通常更便宜。文章还分析了 1,455 个端点的量化标注、价格和速度,并说明如何通过 provider.quantizations 筛选精度及处理端点故障。

    推荐理由:文章结合端点数据、价格比较与 provider.quantizations 配置说明,呈现量化精度选择对 API 质量、成本和可用性的实际影响。

  3. AWS Machine Learning Blog72

    使用 LangGraph 和 Amazon Bedrock AgentCore Web Search 构建每日依赖监测

    AWS 教程演示如何使用 LangGraph 和 Amazon Bedrock AgentCore Web Search 构建每日依赖监测,并部署到 AgentCore runtime 或通过 AgentCore Gateway 提供服务。

    推荐理由:教程展示了如何把固定搜索规则、来源校验与去重机制放在代码中,并部署为每日运行的依赖监测智能体。

  4. AWS Machine Learning Blog64

    Amazon Bedrock AgentCore 智能体评估实践指南

    Amazon Bedrock AgentCore 提供内置评估器,并支持直接使用 DeepEval、AutoEval 与自定义评估器来检验智能体表现。指南建议先定义业务成功标准,再拆解为可观察行为,并映射到 trace 级或 session 级评估器。AgentCore 支持按需、在线和批量评估三种模式,还可用多维评估器分别衡量相互独立的标准。

    推荐理由:文章给出了从业务结果映射评估器、选择指标到配置运行模式的完整流程,便于搭建可落地的智能体评估方案。

  5. AWS Machine Learning Blog70

    Amazon Bedrock tokenomics 数据湖架构与部署指南

    AWS 介绍了一套用于集中观测 Amazon Bedrock 模型调用的数据湖方案,并通过 AWS CloudFormation、Lambda、Data Firehose、S3 和 Athena 完成部署。

    推荐理由:文章提供集中化数据湖架构、部署步骤和查询样例,可用于搭建跨账号的调用观测与成本归因流程。

  6. AWS Machine Learning Blog68

    TCS 如何用 Amazon Bedrock AgentCore 构建智能体测试编排器

    TCS 基于 Amazon Bedrock AgentCore 构建了智能体测试编排器,将业务需求转换为可执行、可治理的 API 与 UI 测试。平台利用专用智能体、上下文检索和 LangGraph 工作流完成测试生成、执行、纠错与报告,并通过租户级身份、数据和密钥隔离支持金融服务场景。

    推荐理由:文章拆解了TCS多租户测试编排器的架构、智能体分工与安全边界,并提供可量化的效率对比。

  7. NVIDIA Blog67

    NVIDIA 提交 OpenShell 并扩展 DSX AI Factory Platform

    NVIDIA 将 OpenShell 贡献给 CNCF,并推出 NVIDIA DSX AI Factory Platform 的三个新组件。OpenShell 用于确定性地控制和治理自主智能体,Agent Substrate 则面向 Kubernetes 上长时间运行的智能体工作负载,NVIDIA 将确保其兼容 NVIDIA Dynamo 与 KAI Scheduler。

    推荐理由:OpenShell 的社区治理与 DSX 新组件共同覆盖智能体安全、集群管理和推理扩缩容,为 AI 基础设施整合提供了具体路径。

11月10日周二
  1. AIHOT84

    n8n Labs 发布开源个人智能体 Nod 研究预览版

    n8n Labs 发布开源个人智能体 Nod 研究预览版,可直接在 Mac 或 Windows 电脑本地运行。Nod 通过本地沙箱和浏览器连接 Gmail、Calendar、Drive、Slack 等应用及无集成的网站,执行前会请求用户确认,并允许选择 AI 提供商;其 LongMemEval 长期记忆得分为 93.2%。

    推荐理由:文章展示了本地个人智能体的操作、权限与成本控制设计,并提供公开仓库,便于评估其工作流适用边界。

  2. Hugging Face Blog70

    Hugging Face 决策模型接口与生态实践

    Hugging Face 介绍决策模型如何以状态、问题和预定义答案为输入,直接返回结构化决策及概率,而不生成响应文本。其基础接口包含 Choice、Score 和 Noul 三种决策原语,并提供置信度计算方式。

    推荐理由:文章系统梳理决策模型的接口与概率计算方式,并展示其在 Transformers、llama.cpp 和 Hub 中的接入方式。

  3. AIHOT81

    Anthropic 用 1000 个 Claude Fable 5.2 智能体在沙箱内复现费马大定理形式化证明

    Anthropic 让 1000 个运行 Claude Fable 5.2 早期版本的智能体在沙箱内复现费马大定理的 Lean 形式化证明,团队仅使用 Git 和共享数据库协调。实验历时 28.7 小时,输出 token 用量为原方案的三分之一,证明长度为原方案的七分之一;运行期间没有工具调用达到实时阻断标准。

    推荐理由:实验记录了千个智能体如何通过数据库、Git 与任务树自主协调,并展示沙箱和双重监控对规模化智能体实验的支撑。

  4. AWS Machine Learning Blog76

    AWS Pluggable Agentic AI Framework 七层企业智能体参考架构解析

    AWS 介绍了一套由七层组成的 Pluggable Agentic AI Framework,用于将多智能体应用从原型推进到生产规模。架构覆盖数据与知识、模型与推理、编排、安全护栏、应用、可观测性和智能体运维,并以零售客服场景演示主管智能体委派订单与退款专员智能体的实现流程。文中还提供 Workshop Studio 体验和公开示例仓库,但明确指出该实现不能替代生产环境所需的安全加固、测试与审查。

    推荐理由:这套架构把安全、治理、成本、可观测性和持续评测纳入分层设计,并提供零售客服案例,可作为企业智能体生产化的落地参考。

11月9日周一
  1. Hugging Face Blog70

    HOPE 论文提出面向 MoE 语言模型的二阶专家剪枝方法

    HOPE 论文提出一种面向 MoE 语言模型的二阶专家剪枝方法,通过 F 矩阵保留专家之间的协作关系。实验覆盖 Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air,在 50% 剪枝率下取得 1.58 的平均排名,并在 Qwen3.5-35B-A3B 的 SWE-Bench Pro 上达到 42.3。团队还开源了包含校准、求解二次规划和剪枝三步流程的代码包。

    推荐理由:HOPE 把专家两两协作纳入剪枝目标,并通过多模型基准与三步使用流程说明其在高剪枝率下的取舍。

11月7日周六
  1. AWS Machine Learning Blog64

    Amazon SageMaker Inference 推出 NVIDIA MIG GPU 分区支持

    Amazon SageMaker Inference 新增 NVIDIA MIG GPU 分区支持,可在托管推理端点中将单块 GPU 划分为多个硬件隔离分区,每个分区分配独立计算资源和显存。

    推荐理由:文章给出实例族、API 配置和基准结果,读者可评估 GPU 分区对模型部署密度、隔离与推理成本的适配方式。

  2. AWS Machine Learning Blog74

    AWS 教程:将 Claude Code 扩展为 Amazon Bedrock AgentCore 远程智能体

    AWS 教程演示如何将 Claude Code 接入 Amazon Bedrock AgentCore,以远程会话运行编码任务并返回 GitHub pull request。每个任务在 AWS 账户内的独立 microVM 中执行,并通过短期 GitHub 凭据、私有网络、Guardrails 和最小权限 IAM 控制访问,智能体只创建草稿 pull request,最终由人工审核并合并。

    推荐理由:示例完整展示了远程编码智能体的部署、安全隔离和提交流程,并明确其适用边界与人工审核要求。

  3. AWS Machine Learning Blog61

    Taxbit Assist 如何在 Amazon Bedrock AgentCore 上构建可引用、权限感知的 AI 智能体

    AWS 介绍了 Taxbit Assist 如何在 Amazon Bedrock AgentCore 上构建面向数字资产税务场景的 AI 智能体,并说明其检索、安全、权限控制与质量评测方法。

    推荐理由:文章拆解了受监管场景中构建可引用、权限感知智能体的检索、安全与持续评测方案,便于迁移到生产级 RAG 应用。

  4. AWS Machine Learning Blog72

    Greenlight Financial 如何基于 Amazon Bedrock AgentCore 构建自主安全运营中心

    Greenlight Financial 基于 Amazon Bedrock AgentCore 构建了自主安全运营中心 Luna,采用分级监督架构协调 30 多个专用智能体,并通过 AgentCore runtime 和 memory 承载智能体及记忆层。

    推荐理由:Greenlight Financial 基于 Amazon Bedrock AgentCore 构建分层多智能体安全运营方案,公开了架构、记忆机制与生产指标。