跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

127 条精选近 30 天 120 条共收录 324 条

更新

精选归档 · 第 2 页

11月18日周三第 21–40 条
  1. AWS Machine Learning Blog82

    使用 SMART 和 Amazon Bedrock AgentCore 构建 WhatsApp AI 智能体

    SMART 提供开源 Python SDK 和 Terraform 技术栈,可将运行在 Amazon Bedrock AgentCore 上的智能体接入 WhatsApp,处理消息收发、媒体、会话记忆、调度和模板管理。

    推荐理由:完整演示了如何用 SMART 接入 WhatsApp,并覆盖消息处理、记忆、定时任务、模板管理、部署与本地调试等关键环节。

  2. OpenAI News74

    OpenAI 发布 GPT-6.2 Astra 和 Sol

    OpenAI 发布 GPT-6.2 Astra 和 Sol,提升专业输出、编码、电脑操作与效率,并降低 ChatGPT Work、Codex 和 API 的使用成本。新模型已面向 ChatGPT Work、Codex 和 API 提供。

    推荐理由:发布信息聚焦专业输出、编码、电脑操作和效率提升,并说明这些变化覆盖 ChatGPT Work、Codex 与 API。

  3. AWS Machine Learning Blog74

    AWS 提出智能体负责任 AI 三阶段实施路线图

    AWS 提出面向智能体平台和应用团队的三阶段负责任 AI 路线图,涵盖治理基础、试点部署、评估与加固,并给出可调整的 12 周实施周期。文章提供 Responsible AI Assessment Skill 和配套评分表,将 AWS Responsible AI Lens 的原则映射到各阶段关键任务,辅助团队评估成熟度。

    推荐理由:文章把智能体负责任 AI 拆分为治理基础、试点部署和评估加固三阶段,并提供成熟度评分方法,便于平台与应用团队落地治理。

  4. AWS Machine Learning Blog71

    ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

    ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀放在缓存检查点之前,实现跨请求、案例和租户复用。生产环境中,65% 的输入 token 来自缓存,端到端延迟最高降低 25%,有效输入成本降低约 50%,每月超过 19B tokens 的推理支出节省约 40%。

    推荐理由:案例拆解了提示词缓存顺序的调整逻辑与生产指标,并给出可复用的多租户配置实践。

11月17日周二
  1. AWS Machine Learning Blog70

    如何使用 Agentic Retrieve 在 Amazon Bedrock Managed Knowledge Base 中构建记忆感知智能体

    Amazon Bedrock Managed Knowledge Base 可通过 Agentic Retrieve 接入 AgentCore memory,自动恢复会话、检索长期记忆并保存对话轮次。教程以多用户员工助手为例,介绍 Cognito 身份映射、ACL 文档过滤、记忆命名空间、IAM 隔离和 trace 验证方法。

    推荐理由:教程完整演示了多用户知识助手的记忆接入、权限隔离与请求配置,可用于梳理智能体记忆系统的落地方法。

  2. AWS Machine Learning Blog71

    AWS 多智能体设计模式与制造业架构选型指南

    AWS 提出多智能体系统应先采用确定性的 Tier 1 编排模式,仅在任务需要动态发现子任务时使用 Tier 2 自主模式。文章比较顺序管线、条件路由、并行工作流、计划编排、交接和辩论等模式,并给出架构选择决策树与五类反模式。制造业部署还需处理 p99 延迟、物理安全、边缘数据、班次周期记忆以及人工审批等约束。

    推荐理由:文章以制造业为背景,系统梳理多智能体编排模式、反模式与选型方法,并讨论延迟、安全、边缘计算和班次交接等落地约束。

  3. AWS Machine Learning Blog71

    Amazon Bedrock 为开放权重模型新增显式提示词缓存

    Amazon Bedrock 的开放权重模型现支持显式提示词缓存,可通过缓存断点精确标记需复用的提示词前缀。开发者可使用 Chat Completions API 配置隐式或显式模式,并从响应中的缓存读写字段观察使用量;文章还演示了 OpenCode 编码智能体会话中的隐式缓存应用。

    推荐理由:文章对比了隐式与显式缓存的控制方式,并提供 Python 和 OpenCode 示例,便于开发者评估缓存命中与成本节省。

  4. AWS Machine Learning Blog65

    Amazon Bedrock Managed Knowledge Base 用检索指令定制各租户答案

    Amazon Bedrock Managed Knowledge Base 支持通过检索指令为每个租户定制回答风格、格式、检索策略和答案策略。指令包含 persona、answerFormat、retrievalGuidance、answerPolicy 四个字段,可版本化并在请求中固定,Planning 跟踪事件会记录实际应用的指令版本。

    推荐理由:教程给出了多租户检索指令的创建、版本发布、隔离与审计方法,可迁移到共享知识库的分租户问答场景。

  5. AWS Machine Learning Blog68

    使用 Amazon Bedrock Managed Knowledge Base 的表格搜索解答表格问题

    Amazon Bedrock Managed Knowledge Base 支持通过智能体检索回答 CSV、XLSX 和 XLS 表格中的问题。文章演示了创建知识库与数据源、调用 AgenticRetrieveStream、读取代码执行轨迹及引用结果,并说明表格搜索的适用边界与文件大小限制。

    推荐理由:文章通过财务数据示例演示表格搜索如何结合表格计算与文档事实,并提供知识库创建、调用和追踪流程。

  6. NVIDIA Blog65

    NVIDIA Vera Rubin 在 MLPerf 训练与端点评测中取得领先性能

    NVIDIA Vera Rubin 平台首次亮相 MLPerf 评测,并在训练、后训练和智能体推理基准中取得领先性能。平台通过了 MLPerf Training v6.1 的全部项目,Vera Rubin NVL72 单 GPU 性能最高达到 GB300 NVL72 的 2 倍,扩展至 1,024 块 GPU 时效率约 97%,训练时间由 16 分钟缩短至约 4 分钟。

    推荐理由:原文汇总了 Vera Rubin 在训练、扩展效率与智能体推理上的基准表现,便于横向比较其性能和能效。

11月15日周日
  1. The Decoder79

    美团发布 1.6 万亿参数智能体模型 LongCat-2.5 并开放权重

    美团发布面向智能体的 1.6 万亿参数 LongCat-2.5,并按 MIT 许可证开放模型权重。该模型全程使用中国 AI 芯片训练,采用 MoE 架构,每个 token 激活约 48B 参数,支持文本、图像和视频输入、1M token 上下文及最长 128,000 token 输出。

    推荐理由:美团同时披露了 LongCat-2.5 的开放权重、中文芯片训练路径与多项智能体基准成绩,便于读者评估其自部署成本和能力位置。

11月14日周六
  1. AWS Machine Learning Blog73

    在 Amazon Bedrock 上使用 NVIDIA NeMo Switchyard 为编码智能体路由模型

    AWS 演示如何使用 LiteLLM 与 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体请求选择合适模型。教程涵盖 Stage 与 Random 路由策略、AWS CDK 部署、网关测试,以及按通过测试的任务成本对比路由组和单模型基线。

    推荐理由:教程给出模型路由配置、AWS 部署和任务成本评测流程,并以通过测试的任务成本比较路由与单模型基线。

  2. AWS Machine Learning Blog72

    Amazon Bedrock AgentCore Runtime V2 快速会话启动的架构模式

    AWS 介绍 Amazon Bedrock AgentCore Runtime V2 的快速会话启动架构,通过环境快照与恢复替代逐会话初始化。文中说明 V2 的构建和调用流程、CloudWatch 延迟指标拆分、build hook 配置,以及预热会话、实现约 2 秒启动和亚秒级响应的方法。

    推荐理由:文章提供了会话启动的分段测量方法、四种优化模式及代码示例,可直接迁移到智能体运行时性能优化。

  3. Google Research78

    Google 开放 Antigravity /teamwork 与 /boost 多智能体工具

    Google 开放 Antigravity 的 /teamwork、/boost 等智能体工具,并与 Gemini 4 Argon、Gemini 4 Carbon 和 Gemini 4 Hydrogen 配合用于研究、形式化验证、编码和系统优化。

    推荐理由:文章同时给出多智能体工作流的设计机制、研究案例与性能数据,便于评估其对研究和工程流程的实际影响。

  4. AWS Machine Learning Blog70

    Amazon SageMaker HyperPod Data Capture 构建模型改进闭环教程

    Amazon SageMaker HyperPod Data Capture 可在三个独立层级记录生产推理输入和输出,并将数据写入 Amazon S3。文章以家电支持路由器为例,演示通过 Amazon Athena 发现新产品分类盲点、使用 SQL 策略生成标注数据,以及利用 HyperPod training operator 完成 LoRA 微调和并行部署。

    推荐理由:文章以完整案例串联生产数据捕获、Athena 分析、SQL 标注、LoRA 微调和并行部署,提供了可复用的模型改进闭环。