跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

127 条精选近 30 天 120 条共收录 324 条

更新

部署工程的精选

今天11月19日周四第 1–20 条
  1. AWS Machine Learning Blog79

    Airbnb 如何用单任务成本运营 Amazon Bedrock 编码智能体

    Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。

    推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。

  2. Hugging Face Blog73

    RadixArk 发布 DaisyRose-27B,探索长程智能体后训练效率

    RadixArk 发布首个模型 DaisyRose-27B,该模型基于 Qwen3.8-27B,使用 Miles 通过强化学习完成后训练。训练使用约 1,200 个精选任务,在 18 天内动用 144 张 H200 GPU,支持最长 1M tokens 的会话,并将 Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0%。

    推荐理由:RadixArk 公开了长程智能体后训练的数据、训练后端与沙箱方法,便于读者比较其效率收益与复现条件。

  3. AWS Machine Learning Blog65

    Salesforce 如何在 Amazon SageMaker AI 中部署跨区域推理路由

    Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。

    推荐理由:Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。

  4. Hugging Face Blog61

    Dharma-AI研究共享GPU集群上的大语言模型微调时长预测

    Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。

    推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。

  5. Hugging Face Blog64

    Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

    作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。

    推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。

11月18日周三
  1. Hugging Face Blog61

    IBM 时间序列模型原生登陆 Confluent Streamhouse

    IBM 时间序列基础模型现已原生集成到 Confluent Streamhouse,可在云端和本地以 CPU 运行预测、异常检测与语义智能。该系列包含四个模型,下载量已超过 5000 万,并可结合 Apache Flink 将结果用于生产优化、需求预测、欺诈检测和交易执行。代码与 notebook 位于 github.com/ibm-granite/granite-tsfm。

    推荐理由:Confluent 的原生集成把预测、异常检测和语义检索接入流式流水线,并覆盖云端与本地 CPU 部署,便于评估实时决策场景的落地方式。

  2. NVIDIA Blog72

    NVIDIA RTX Spark 紧凑型桌面设备由 ASUS、Dell 和 MSI 推出

    NVIDIA RTX Spark 紧凑型桌面设备现已由 ASUS、Dell 和 MSI 上市,配备 20 核 Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,可本地运行 120B 参数大语言模型。

    推荐理由:文章给出了新桌面设备的配置、上市品牌与本地 AI 工作流,便于读者了解桌面端智能体的硬件能力和软件生态。

  3. AIHOT85

    Anthropic 复盘用 chaos loop 强化 Claude Docs 上线:20 亿次请求仅 60 次服务器错误

    Anthropic 工程师复盘了用 Claude 驱动 chaos loop 在上线前强化 Claude Docs 的过程。团队让 Claude 持续执行压测、读取 Datadog 遥测、提出并部署修复,同时保留数据库架构等难以回退决策的人工审批。

    推荐理由:完整呈现了用 Claude 驱动 chaos loop 开展预发布压测、读取遥测并修复故障的流程与成本,为规模化 Agent 运维提供了可复现路径。

  4. Simon Willison77

    编码智能体外部沙箱模式与三种实现

    Simon Willison 与 Prime Radiant 提出外部沙箱模式,将编码智能体与代理执行代码隔离,并发布三种沙箱服务器实现。三种实现分别使用 v86 与 WebAssembly、Apple Containers,以及微软 Quicksand 库,均提供相同的 localhost API,可供 Pi、Claude Code 或 Codex 调用。

    推荐理由:外部沙箱将编码智能体与代码执行环境分离,并提供统一本地 API 和三种可替换实现,降低运行不可信代码时的机器风险。

  5. AWS Machine Learning Blog79

    使用 Amazon Bedrock AgentCore 降低 JSON 工作负载的 token 成本与延迟

    AWS 介绍三种降低 Amazon Bedrock AgentCore JSON 工作负载 token 成本和延迟的策略:将会话中的大型对象卸载至 Amazon S3、按需分页获取大型列表,并压缩超大字典输出。

    推荐理由:文章给出三种可组合的上下文优化方法,并用生产智能体数据展示其对 token 消耗、延迟和多轮交互稳定性的具体改善。

  6. AWS Machine Learning Blog65

    Amazon SageMaker AI 实时端点新增 KV cache 感知路由

    Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。

    推荐理由:文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。

  7. AWS Machine Learning Blog65

    AWS 教程:用规则处理确定性任务,用模型承担开放式判断

    AWS 提出降低生成式 AI 成本的分层方法,将输入校验、格式化和路由等确定性任务交给代码,固定选项任务使用受约束决策调用,开放式任务再交给满足质量要求的 Amazon Bedrock 模型。

    推荐理由:文章提供了一套按规则、受约束决策和模型分层处理工作流的方法,并给出对应的 AWS 实现与评测建议。

  8. AIHOT77

    Google AI Studio 集成 Gemini 4 Carbon 与 Hydrogen 构建全栈 Android 应用

    Google AI Studio 集成 Gemini 4 Carbon 与 Hydrogen,可从提示词生成具备数据持久化、用户登录和 AI 功能的 Kotlin Android 应用,并直接发布到个人 Google Play 库。

    推荐理由:原文完整说明了 Google AI Studio 的全栈 Android 构建与发布流程,可供开发者了解 Firebase、模拟器和 Agent 集成带来的工作流变化。

  9. AWS Machine Learning Blog68

    Amazon Bedrock AgentCore 通过 OAuth 安全接入 Snowflake Cortex AI 的三种模式

    Amazon Bedrock AgentCore Identity 支持通过 Amazon Bedrock AgentCore Gateway 以 OAuth 将 AI 智能体接入 Snowflake 管理的 MCP 服务端。

    推荐理由:文章通过三种端到端配置对比用户身份传播、审计粒度与运维成本,为智能体接入 Snowflake 选择 OAuth 模式提供可迁移依据。

  10. AWS Machine Learning Blog71

    Amazon SageMaker AI 发布生成式 AI 数据准备能力

    Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。

    推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。