跳到正文
AI 资讯
今天11月19日周四12 条
  1. AWS Machine Learning Blog59

    Exa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%

    Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。

  2. AWS Machine Learning Blog52

    AWS讲解Amazon Aurora PostgreSQL的负责任AI控制设计

    AWS博客以RAG客服机器人为例,讲解如何将AWS负责任AI的8个维度映射到Amazon Aurora PostgreSQL,并深入实现可解释性控制。方案使用Aurora ML从SQL生成1,024维Amazon Titan Text Embeddings V2向量,结合pgvector、RLS和Amazon Bedrock Guardrails,记录检索块、相似度、引用来源及护栏轨迹。

  3. AWS Machine Learning Blog79

    Airbnb 如何用单任务成本运营 Amazon Bedrock 编码智能体

    Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。

    推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。

  4. AWS Machine Learning Blog49

    Social Department 如何构建具备文化意识的视频发现系统

    Social Department 用 QuickSearch 将编辑判断与实时趋势信号编码为检索流水线,直接返回适合娱乐营销的视频片段。系统运行于 Amazon Bedrock,使用 TwelveLabs Marengo 3.0 与 Pegasus 1.2 提供场景级视频推理,并支持四类单动作查询。流程遵循“AI 提议、人员决策”,由代码核验来源,客户团队逐项审批。

  5. AWS Machine Learning Blog65

    Salesforce 如何在 Amazon SageMaker AI 中部署跨区域推理路由

    Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。

    推荐理由:Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。

  6. Hugging Face Blog64

    Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

    作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。

    推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。

11月18日周三
  1. AWS Machine Learning Blog79

    使用 Amazon Bedrock AgentCore 降低 JSON 工作负载的 token 成本与延迟

    AWS 介绍三种降低 Amazon Bedrock AgentCore JSON 工作负载 token 成本和延迟的策略:将会话中的大型对象卸载至 Amazon S3、按需分页获取大型列表,并压缩超大字典输出。

    推荐理由:文章给出三种可组合的上下文优化方法,并用生产智能体数据展示其对 token 消耗、延迟和多轮交互稳定性的具体改善。

  2. AWS Machine Learning Blog65

    AWS 教程:用规则处理确定性任务,用模型承担开放式判断

    AWS 提出降低生成式 AI 成本的分层方法,将输入校验、格式化和路由等确定性任务交给代码,固定选项任务使用受约束决策调用,开放式任务再交给满足质量要求的 Amazon Bedrock 模型。

    推荐理由:文章提供了一套按规则、受约束决策和模型分层处理工作流的方法,并给出对应的 AWS 实现与评测建议。

  3. AWS Machine Learning Blog68

    Amazon Bedrock AgentCore 通过 OAuth 安全接入 Snowflake Cortex AI 的三种模式

    Amazon Bedrock AgentCore Identity 支持通过 Amazon Bedrock AgentCore Gateway 以 OAuth 将 AI 智能体接入 Snowflake 管理的 MCP 服务端。

    推荐理由:文章通过三种端到端配置对比用户身份传播、审计粒度与运维成本,为智能体接入 Snowflake 选择 OAuth 模式提供可迁移依据。

  4. AWS Machine Learning Blog82

    使用 SMART 和 Amazon Bedrock AgentCore 构建 WhatsApp AI 智能体

    SMART 提供开源 Python SDK 和 Terraform 技术栈,可将运行在 Amazon Bedrock AgentCore 上的智能体接入 WhatsApp,处理消息收发、媒体、会话记忆、调度和模板管理。

    推荐理由:完整演示了如何用 SMART 接入 WhatsApp,并覆盖消息处理、记忆、定时任务、模板管理、部署与本地调试等关键环节。

  5. AWS Machine Learning Blog74

    AWS 提出智能体负责任 AI 三阶段实施路线图

    AWS 提出面向智能体平台和应用团队的三阶段负责任 AI 路线图,涵盖治理基础、试点部署、评估与加固,并给出可调整的 12 周实施周期。文章提供 Responsible AI Assessment Skill 和配套评分表,将 AWS Responsible AI Lens 的原则映射到各阶段关键任务,辅助团队评估成熟度。

    推荐理由:文章把智能体负责任 AI 拆分为治理基础、试点部署和评估加固三阶段,并提供成熟度评分方法,便于平台与应用团队落地治理。

  6. AWS Machine Learning Blog52

    AWS re:Invent 2026 AWS Quick 完整参会指南

    AWS 发布 AWS re:Invent 2026 的 AWS Quick 参会指南,集中介绍 11 月 30 日至 12 月 4 日举行的主题演讲、客户案例、动手实验和工作坊。内容涵盖企业治理、规模化部署、知识图谱、记忆、安全以及多智能体工作流,线下参会者也可通过直播观看 50 多场活动。

  7. AWS Machine Learning Blog71

    ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

    ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀放在缓存检查点之前,实现跨请求、案例和租户复用。生产环境中,65% 的输入 token 来自缓存,端到端延迟最高降低 25%,有效输入成本降低约 50%,每月超过 19B tokens 的推理支出节省约 40%。

    推荐理由:案例拆解了提示词缓存顺序的调整逻辑与生产指标,并给出可复用的多租户配置实践。

11月17日周二
  1. AWS Machine Learning Blog70

    如何使用 Agentic Retrieve 在 Amazon Bedrock Managed Knowledge Base 中构建记忆感知智能体

    Amazon Bedrock Managed Knowledge Base 可通过 Agentic Retrieve 接入 AgentCore memory,自动恢复会话、检索长期记忆并保存对话轮次。教程以多用户员工助手为例,介绍 Cognito 身份映射、ACL 文档过滤、记忆命名空间、IAM 隔离和 trace 验证方法。

    推荐理由:教程完整演示了多用户知识助手的记忆接入、权限隔离与请求配置,可用于梳理智能体记忆系统的落地方法。

  2. AWS Machine Learning Blog71

    AWS 多智能体设计模式与制造业架构选型指南

    AWS 提出多智能体系统应先采用确定性的 Tier 1 编排模式,仅在任务需要动态发现子任务时使用 Tier 2 自主模式。文章比较顺序管线、条件路由、并行工作流、计划编排、交接和辩论等模式,并给出架构选择决策树与五类反模式。制造业部署还需处理 p99 延迟、物理安全、边缘数据、班次周期记忆以及人工审批等约束。

    推荐理由:文章以制造业为背景,系统梳理多智能体编排模式、反模式与选型方法,并讨论延迟、安全、边缘计算和班次交接等落地约束。

  3. AWS Machine Learning Blog55

    Novo Nordisk 用 Amazon Bedrock AgentCore 构建制造流程文档智能助手

    Novo Nordisk 与 AWS 构建并部署了基于 Amazon Bedrock AgentCore 的制造流程智能助手,通过 GraphRAG、混合搜索和先澄清后检索回答复杂流程问题。系统管理约四百万份文档,仅对已接入领域索引全文,并返回基于已批准文档及版本的引用答案。主体专家原本需要数小时或数天完成的任务被缩短至数分钟,同时会在材料缺失或存在歧义时明确提示复核。

  4. AWS Machine Learning Blog71

    Amazon Bedrock 为开放权重模型新增显式提示词缓存

    Amazon Bedrock 的开放权重模型现支持显式提示词缓存,可通过缓存断点精确标记需复用的提示词前缀。开发者可使用 Chat Completions API 配置隐式或显式模式,并从响应中的缓存读写字段观察使用量;文章还演示了 OpenCode 编码智能体会话中的隐式缓存应用。

    推荐理由:文章对比了隐式与显式缓存的控制方式,并提供 Python 和 OpenCode 示例,便于开发者评估缓存命中与成本节省。

  5. AWS Machine Learning Blog65

    Amazon Bedrock Managed Knowledge Base 用检索指令定制各租户答案

    Amazon Bedrock Managed Knowledge Base 支持通过检索指令为每个租户定制回答风格、格式、检索策略和答案策略。指令包含 persona、answerFormat、retrievalGuidance、answerPolicy 四个字段,可版本化并在请求中固定,Planning 跟踪事件会记录实际应用的指令版本。

    推荐理由:教程给出了多租户检索指令的创建、版本发布、隔离与审计方法,可迁移到共享知识库的分租户问答场景。

  6. AWS Machine Learning Blog68

    使用 Amazon Bedrock Managed Knowledge Base 的表格搜索解答表格问题

    Amazon Bedrock Managed Knowledge Base 支持通过智能体检索回答 CSV、XLSX 和 XLS 表格中的问题。文章演示了创建知识库与数据源、调用 AgenticRetrieveStream、读取代码执行轨迹及引用结果,并说明表格搜索的适用边界与文件大小限制。

    推荐理由:文章通过财务数据示例演示表格搜索如何结合表格计算与文档事实,并提供知识库创建、调用和追踪流程。

11月14日周六
  1. AWS Machine Learning Blog73

    在 Amazon Bedrock 上使用 NVIDIA NeMo Switchyard 为编码智能体路由模型

    AWS 演示如何使用 LiteLLM 与 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体请求选择合适模型。教程涵盖 Stage 与 Random 路由策略、AWS CDK 部署、网关测试,以及按通过测试的任务成本对比路由组和单模型基线。

    推荐理由:教程给出模型路由配置、AWS 部署和任务成本评测流程,并以通过测试的任务成本比较路由与单模型基线。

  2. AWS Machine Learning Blog47

    GS Caltex 如何用 Amazon SageMaker Canvas 和 Amazon SageMaker Pipelines 实现生产级 MLOps(第一部分)

    GS Caltex 将 SageMaker Canvas 中无代码构建并验证的模型接入 SageMaker Pipelines,复用预处理流程与已验证模型部署到生产工作流。ML 工程师可在几小时内完成模型部署,而此前约需一周;系统每 30 分钟运行一次批量推理,减少持续运行端点的需求并降低推理成本。

  3. AWS Machine Learning Blog72

    Amazon Bedrock AgentCore Runtime V2 快速会话启动的架构模式

    AWS 介绍 Amazon Bedrock AgentCore Runtime V2 的快速会话启动架构,通过环境快照与恢复替代逐会话初始化。文中说明 V2 的构建和调用流程、CloudWatch 延迟指标拆分、build hook 配置,以及预热会话、实现约 2 秒启动和亚秒级响应的方法。

    推荐理由:文章提供了会话启动的分段测量方法、四种优化模式及代码示例,可直接迁移到智能体运行时性能优化。

  4. AWS Machine Learning Blog70

    Amazon SageMaker HyperPod Data Capture 构建模型改进闭环教程

    Amazon SageMaker HyperPod Data Capture 可在三个独立层级记录生产推理输入和输出,并将数据写入 Amazon S3。文章以家电支持路由器为例,演示通过 Amazon Athena 发现新产品分类盲点、使用 SQL 策略生成标注数据,以及利用 HyperPod training operator 完成 LoRA 微调和并行部署。

    推荐理由:文章以完整案例串联生产数据捕获、Athena 分析、SQL 标注、LoRA 微调和并行部署,提供了可复用的模型改进闭环。