Exa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%
Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。
Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。
AWS博客以RAG客服机器人为例,讲解如何将AWS负责任AI的8个维度映射到Amazon Aurora PostgreSQL,并深入实现可解释性控制。方案使用Aurora ML从SQL生成1,024维Amazon Titan Text Embeddings V2向量,结合pgvector、RLS和Amazon Bedrock Guardrails,记录检索块、相似度、引用来源及护栏轨迹。
Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。
推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。
Amazon Bedrock AgentCore Identity 可通过 AWS Secrets Manager 或 Amazon S3 引用 PEM 格式的私有 CA 证书,连接 VPC 内使用私有证书的 Keycloak 等 IdP。
推荐理由:指南完整覆盖私有 CA 配置、证书轮换、监控和访问控制,便于评估私有 IdP 接入方案与安全边界。
Social Department 用 QuickSearch 将编辑判断与实时趋势信号编码为检索流水线,直接返回适合娱乐营销的视频片段。系统运行于 Amazon Bedrock,使用 TwelveLabs Marengo 3.0 与 Pegasus 1.2 提供场景级视频推理,并支持四类单动作查询。流程遵循“AI 提议、人员决策”,由代码核验来源,客户团队逐项审批。
Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。
推荐理由:Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。
OpenAI 介绍其在模型训练至部署全流程中管理前沿 AI 风险的方法,涵盖模型对齐、沙箱、阻断性防护与监控。相关说明聚焦安全流程与控制措施,未涉及具体模型版本、参数规模或评测分数。
AWS Quick User Group DC 首次聚会让参与者探索如何借助 AWS Quick 将分析、自然语言交互和多步骤任务编排结合起来,为企业 AI 智能体构建可信的数据基础。
Stretto 与 AWS Generative AI Innovation Center、CI&T 合作构建了破产咨询 AI 语音智能体 Tara,并基于 Amazon Nova 2 Sonic 完成端到端架构和生产部署。
AWS 介绍了通过 Amazon Bedrock AgentCore Gateway 访问私有 API 和 MCP 服务器的 hub-and-spoke 网络模式。
OpenAI 介绍了 Codex 沙箱在 macOS、Linux 和 Windows 上运行本机命令的工作方式。运行过程会遵循用户设置的文件系统与网络访问限制。
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
AWS 介绍三种降低 Amazon Bedrock AgentCore JSON 工作负载 token 成本和延迟的策略:将会话中的大型对象卸载至 Amazon S3、按需分页获取大型列表,并压缩超大字典输出。
推荐理由:文章给出三种可组合的上下文优化方法,并用生产智能体数据展示其对 token 消耗、延迟和多轮交互稳定性的具体改善。
AWS 提出降低生成式 AI 成本的分层方法,将输入校验、格式化和路由等确定性任务交给代码,固定选项任务使用受约束决策调用,开放式任务再交给满足质量要求的 Amazon Bedrock 模型。
推荐理由:文章提供了一套按规则、受约束决策和模型分层处理工作流的方法,并给出对应的 AWS 实现与评测建议。
Amazon Bedrock AgentCore Identity 支持通过 Amazon Bedrock AgentCore Gateway 以 OAuth 将 AI 智能体接入 Snowflake 管理的 MCP 服务端。
推荐理由:文章通过三种端到端配置对比用户身份传播、审计粒度与运维成本,为智能体接入 Snowflake 选择 OAuth 模式提供可迁移依据。
AWS 演示了如何在 Amazon SageMaker JumpStart 部署 OpenTSLM-Flamingo,并通过 TimeNet 加载 ARFBench 数据进行领域微调。
SMART 提供开源 Python SDK 和 Terraform 技术栈,可将运行在 Amazon Bedrock AgentCore 上的智能体接入 WhatsApp,处理消息收发、媒体、会话记忆、调度和模板管理。
推荐理由:完整演示了如何用 SMART 接入 WhatsApp,并覆盖消息处理、记忆、定时任务、模板管理、部署与本地调试等关键环节。
AWS 提出面向智能体平台和应用团队的三阶段负责任 AI 路线图,涵盖治理基础、试点部署、评估与加固,并给出可调整的 12 周实施周期。文章提供 Responsible AI Assessment Skill 和配套评分表,将 AWS Responsible AI Lens 的原则映射到各阶段关键任务,辅助团队评估成熟度。
推荐理由:文章把智能体负责任 AI 拆分为治理基础、试点部署和评估加固三阶段,并提供成熟度评分方法,便于平台与应用团队落地治理。
LoanPro 与 AWS 和 AllCloud 合作构建了基于 Amazon Bedrock AgentCore 的多智能体贷款服务助手,通过专用智能体汇总借款人信息、调用内部工具并推荐后续操作。
AWS 发布 AWS re:Invent 2026 的 AWS Quick 参会指南,集中介绍 11 月 30 日至 12 月 4 日举行的主题演讲、客户案例、动手实验和工作坊。内容涵盖企业治理、规模化部署、知识图谱、记忆、安全以及多智能体工作流,线下参会者也可通过直播观看 50 多场活动。
ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀放在缓存检查点之前,实现跨请求、案例和租户复用。生产环境中,65% 的输入 token 来自缓存,端到端延迟最高降低 25%,有效输入成本降低约 50%,每月超过 19B tokens 的推理支出节省约 40%。
推荐理由:案例拆解了提示词缓存顺序的调整逻辑与生产指标,并给出可复用的多租户配置实践。
Revolut 利用 OpenAI 模型和 Codex 缩短 30–60% 的编码时间,同时扩大金融犯罪调查规模。该实践在推动创新的同时保持安全标准,并支持 RevOps、风险、增长和人才团队的代码开发。
Amazon Bedrock Managed Knowledge Base 可通过 Agentic Retrieve 接入 AgentCore memory,自动恢复会话、检索长期记忆并保存对话轮次。教程以多用户员工助手为例,介绍 Cognito 身份映射、ACL 文档过滤、记忆命名空间、IAM 隔离和 trace 验证方法。
推荐理由:教程完整演示了多用户知识助手的记忆接入、权限隔离与请求配置,可用于梳理智能体记忆系统的落地方法。
AWS 提出多智能体系统应先采用确定性的 Tier 1 编排模式,仅在任务需要动态发现子任务时使用 Tier 2 自主模式。文章比较顺序管线、条件路由、并行工作流、计划编排、交接和辩论等模式,并给出架构选择决策树与五类反模式。制造业部署还需处理 p99 延迟、物理安全、边缘数据、班次周期记忆以及人工审批等约束。
推荐理由:文章以制造业为背景,系统梳理多智能体编排模式、反模式与选型方法,并讨论延迟、安全、边缘计算和班次交接等落地约束。
Duco 将智能体 AI 栈重建在 Amazon Bedrock 与 Amazon Bedrock AgentCore 之上,为 200 多家金融机构客户每月处理 200 亿笔交易,同时保持每租户数据隔离。
MoEngage 基于 Amazon Bedrock 和 Amazon Bedrock AgentCore 构建 Merlin AI,通过四类智能体在单次对话中完成营销活动、分析和调整。
推荐理由:文章拆解了从 OpenAPI 到 MCP 工具、租户隔离与模型托管的完整路径,为多租户 SaaS 接入智能体提供可复用架构。
Novo Nordisk 与 AWS 构建并部署了基于 Amazon Bedrock AgentCore 的制造流程智能助手,通过 GraphRAG、混合搜索和先澄清后检索回答复杂流程问题。系统管理约四百万份文档,仅对已接入领域索引全文,并返回基于已批准文档及版本的引用答案。主体专家原本需要数小时或数天完成的任务被缩短至数分钟,同时会在材料缺失或存在歧义时明确提示复核。
AWS Machine Learning Blog 展示了基于 Amazon Bedrock、Kiro IDE 与 AWS Transform 的五阶段主机现代化方法,将 Assembler 业务逻辑先转换为 COBOL,再转为 AWS 云上的 Java Spring Boot 应用。
Amazon Bedrock 的开放权重模型现支持显式提示词缓存,可通过缓存断点精确标记需复用的提示词前缀。开发者可使用 Chat Completions API 配置隐式或显式模式,并从响应中的缓存读写字段观察使用量;文章还演示了 OpenCode 编码智能体会话中的隐式缓存应用。
推荐理由:文章对比了隐式与显式缓存的控制方式,并提供 Python 和 OpenCode 示例,便于开发者评估缓存命中与成本节省。
Amazon Bedrock Managed Knowledge Base 支持通过检索指令为每个租户定制回答风格、格式、检索策略和答案策略。指令包含 persona、answerFormat、retrievalGuidance、answerPolicy 四个字段,可版本化并在请求中固定,Planning 跟踪事件会记录实际应用的指令版本。
推荐理由:教程给出了多租户检索指令的创建、版本发布、隔离与审计方法,可迁移到共享知识库的分租户问答场景。
AWS Machine Learning Blog 给出一份编写 Amazon Bedrock Guardrails 中 Denied Topics 的实践指南,包含八条最佳实践与一则虚构银行 AnyCompany Bank 的完整示例。
Amazon Bedrock Managed Knowledge Base 支持通过智能体检索回答 CSV、XLSX 和 XLS 表格中的问题。文章演示了创建知识库与数据源、调用 AgenticRetrieveStream、读取代码执行轨迹及引用结果,并说明表格搜索的适用边界与文件大小限制。
推荐理由:文章通过财务数据示例演示表格搜索如何结合表格计算与文档事实,并提供知识库创建、调用和追踪流程。
AWS 演示如何使用 LiteLLM 与 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体请求选择合适模型。教程涵盖 Stage 与 Random 路由策略、AWS CDK 部署、网关测试,以及按通过测试的任务成本对比路由组和单模型基线。
推荐理由:教程给出模型路由配置、AWS 部署和任务成本评测流程,并以通过测试的任务成本比较路由与单模型基线。
GS Caltex 将 SageMaker Canvas 中无代码构建并验证的模型接入 SageMaker Pipelines,复用预处理流程与已验证模型部署到生产工作流。ML 工程师可在几小时内完成模型部署,而此前约需一周;系统每 30 分钟运行一次批量推理,减少持续运行端点的需求并降低推理成本。
AWS 教程介绍如何在 Amazon SageMaker JumpStart 部署 OpenFold3-preview,并通过异步推理预测蛋白质、DNA、RNA、小分子配体及其复合物的 3D 结构。
AWS 介绍 Amazon Bedrock AgentCore Runtime V2 的快速会话启动架构,通过环境快照与恢复替代逐会话初始化。文中说明 V2 的构建和调用流程、CloudWatch 延迟指标拆分、build hook 配置,以及预热会话、实现约 2 秒启动和亚秒级响应的方法。
推荐理由:文章提供了会话启动的分段测量方法、四种优化模式及代码示例,可直接迁移到智能体运行时性能优化。
AWS 介绍了 AssemblyAI 使用 Amazon ECS、Amazon EC2 Spot Instances 和 Amazon SQS 优化大规模语音转文字推理成本的架构。
推荐理由:AssemblyAI 的案例完整展示了通过多类型 GPU 实例、SQS 重试和区域隔离控制推理成本并保障服务可用性的方法。
Amazon Bedrock 可在无需工具专用埋点的情况下,将 Claude Code、OpenAI Codex 等工具的推理调用按 IAM 主体归因到具体用户。
Hugging Face 教程演示如何使用 SimReady Central 的 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐资产,在 Isaac Sim 6.2 中构建抓取放置仿真。
Amazon SageMaker HyperPod Data Capture 可在三个独立层级记录生产推理输入和输出,并将数据写入 Amazon S3。文章以家电支持路由器为例,演示通过 Amazon Athena 发现新产品分类盲点、使用 SQL 策略生成标注数据,以及利用 HyperPod training operator 完成 LoRA 微调和并行部署。
推荐理由:文章以完整案例串联生产数据捕获、Athena 分析、SQL 标注、LoRA 微调和并行部署,提供了可复用的模型改进闭环。