Exa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%
Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。
Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。
Amazon SageMaker AI Serverless 模型定制现已支持 FFT 全参数微调,无需管理 GPU 集群或分布式训练配置。作者以 Qwen3-4B 和 110K 代码指令数据集进行实验,FFT 在 100K+ 训练样本上的 LLM-as-Judge 语义正确率达到 90.0 percent,并提供 SageMaker Python SDK 示例。
Amazon SageMaker JumpStart 在 SageMaker Studio 中推出 Model Leaderboard,可在同一界面并列比较 JumpStart 模型的质量、速度和成本。
推荐理由:Amazon SageMaker JumpStart 新榜单采用统一测量口径呈现模型质量、性能和成本,便于按实际部署配置筛选和比较候选模型。
Amazon SageMaker HyperPod 新增工作负载恢复与扩展基础设施检查,用于识别训练正确性、Kubernetes 集群状态和 Slurm 挂起任务三类故障。
AWS博客以RAG客服机器人为例,讲解如何将AWS负责任AI的8个维度映射到Amazon Aurora PostgreSQL,并深入实现可解释性控制。方案使用Aurora ML从SQL生成1,024维Amazon Titan Text Embeddings V2向量,结合pgvector、RLS和Amazon Bedrock Guardrails,记录检索块、相似度、引用来源及护栏轨迹。
Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。
推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。
Amazon Bedrock AgentCore Identity 可通过 AWS Secrets Manager 或 Amazon S3 引用 PEM 格式的私有 CA 证书,连接 VPC 内使用私有证书的 Keycloak 等 IdP。
推荐理由:指南完整覆盖私有 CA 配置、证书轮换、监控和访问控制,便于评估私有 IdP 接入方案与安全边界。
RadixArk 发布首个模型 DaisyRose-27B,该模型基于 Qwen3.8-27B,使用 Miles 通过强化学习完成后训练。训练使用约 1,200 个精选任务,在 18 天内动用 144 张 H200 GPU,支持最长 1M tokens 的会话,并将 Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0%。
推荐理由:RadixArk 公开了长程智能体后训练的数据、训练后端与沙箱方法,便于读者比较其效率收益与复现条件。
Social Department 用 QuickSearch 将编辑判断与实时趋势信号编码为检索流水线,直接返回适合娱乐营销的视频片段。系统运行于 Amazon Bedrock,使用 TwelveLabs Marengo 3.0 与 Pegasus 1.2 提供场景级视频推理,并支持四类单动作查询。流程遵循“AI 提议、人员决策”,由代码核验来源,客户团队逐项审批。
Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。
推荐理由:Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
AWS Quick User Group DC 首次聚会让参与者探索如何借助 AWS Quick 将分析、自然语言交互和多步骤任务编排结合起来,为企业 AI 智能体构建可信的数据基础。
Stretto 与 AWS Generative AI Innovation Center、CI&T 合作构建了破产咨询 AI 语音智能体 Tara,并基于 Amazon Nova 2 Sonic 完成端到端架构和生产部署。
AWS 介绍了通过 Amazon Bedrock AgentCore Gateway 访问私有 API 和 MCP 服务器的 hub-and-spoke 网络模式。
OpenAI 介绍了 Codex 沙箱在 macOS、Linux 和 Windows 上运行本机命令的工作方式。运行过程会遵循用户设置的文件系统与网络访问限制。
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
IBM 时间序列基础模型现已原生集成到 Confluent Streamhouse,可在云端和本地以 CPU 运行预测、异常检测与语义智能。该系列包含四个模型,下载量已超过 5000 万,并可结合 Apache Flink 将结果用于生产优化、需求预测、欺诈检测和交易执行。代码与 notebook 位于 github.com/ibm-granite/granite-tsfm。
推荐理由:Confluent 的原生集成把预测、异常检测和语义检索接入流式流水线,并覆盖云端与本地 CPU 部署,便于评估实时决策场景的落地方式。
NVIDIA RTX Spark 紧凑型桌面设备现已由 ASUS、Dell 和 MSI 上市,配备 20 核 Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,可本地运行 120B 参数大语言模型。
推荐理由:文章给出了新桌面设备的配置、上市品牌与本地 AI 工作流,便于读者了解桌面端智能体的硬件能力和软件生态。
Amazon SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,提供多节点部署、预填充与解码分离以及 KV-aware 路由。
推荐理由:文章给出两种部署路径、GLM-5.3 配置示例和多节点基准数据,可用于比较聚合与预填充、解码分离方案。
AWS 介绍三种降低 Amazon Bedrock AgentCore JSON 工作负载 token 成本和延迟的策略:将会话中的大型对象卸载至 Amazon S3、按需分页获取大型列表,并压缩超大字典输出。
推荐理由:文章给出三种可组合的上下文优化方法,并用生产智能体数据展示其对 token 消耗、延迟和多轮交互稳定性的具体改善。
Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。
推荐理由:文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。
AWS 提出降低生成式 AI 成本的分层方法,将输入校验、格式化和路由等确定性任务交给代码,固定选项任务使用受约束决策调用,开放式任务再交给满足质量要求的 Amazon Bedrock 模型。
推荐理由:文章提供了一套按规则、受约束决策和模型分层处理工作流的方法,并给出对应的 AWS 实现与评测建议。
Amazon Bedrock AgentCore Identity 支持通过 Amazon Bedrock AgentCore Gateway 以 OAuth 将 AI 智能体接入 Snowflake 管理的 MCP 服务端。
推荐理由:文章通过三种端到端配置对比用户身份传播、审计粒度与运维成本,为智能体接入 Snowflake 选择 OAuth 模式提供可迁移依据。
AWS Agent Registry 现已支持自定义元数据 schema,让组织统一管理 AI 智能体、MCP server 和 skill 记录的字段、允许值与合规状态。
AWS Forward Deployed Engineering现已面向商业和公共部门客户覆盖15个国家,每个项目以45天冲刺在客户自己的AWS账户中交付。该服务围绕共享基础、业务工作流和内建治理构建生产级AI系统,并以Amazon Bedrock AgentCore、AWS安全控制和可复用上下文支持后续扩展。Marsh的首个用例在启动约两个月后投入生产,目标流程效率最高提升70%。
Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。
推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。
AWS 演示了如何在 Amazon SageMaker JumpStart 部署 OpenTSLM-Flamingo,并通过 TimeNet 加载 ARFBench 数据进行领域微调。
SMART 提供开源 Python SDK 和 Terraform 技术栈,可将运行在 Amazon Bedrock AgentCore 上的智能体接入 WhatsApp,处理消息收发、媒体、会话记忆、调度和模板管理。
推荐理由:完整演示了如何用 SMART 接入 WhatsApp,并覆盖消息处理、记忆、定时任务、模板管理、部署与本地调试等关键环节。
OpenAI 发布 GPT-6.2 Astra 和 Sol,提升专业输出、编码、电脑操作与效率,并降低 ChatGPT Work、Codex 和 API 的使用成本。新模型已面向 ChatGPT Work、Codex 和 API 提供。
推荐理由:发布信息聚焦专业输出、编码、电脑操作和效率提升,并说明这些变化覆盖 ChatGPT Work、Codex 与 API。
AWS 提出面向智能体平台和应用团队的三阶段负责任 AI 路线图,涵盖治理基础、试点部署、评估与加固,并给出可调整的 12 周实施周期。文章提供 Responsible AI Assessment Skill 和配套评分表,将 AWS Responsible AI Lens 的原则映射到各阶段关键任务,辅助团队评估成熟度。
推荐理由:文章把智能体负责任 AI 拆分为治理基础、试点部署和评估加固三阶段,并提供成熟度评分方法,便于平台与应用团队落地治理。
LoanPro 与 AWS 和 AllCloud 合作构建了基于 Amazon Bedrock AgentCore 的多智能体贷款服务助手,通过专用智能体汇总借款人信息、调用内部工具并推荐后续操作。
AWS 发布 AWS re:Invent 2026 的 AWS Quick 参会指南,集中介绍 11 月 30 日至 12 月 4 日举行的主题演讲、客户案例、动手实验和工作坊。内容涵盖企业治理、规模化部署、知识图谱、记忆、安全以及多智能体工作流,线下参会者也可通过直播观看 50 多场活动。
ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀放在缓存检查点之前,实现跨请求、案例和租户复用。生产环境中,65% 的输入 token 来自缓存,端到端延迟最高降低 25%,有效输入成本降低约 50%,每月超过 19B tokens 的推理支出节省约 40%。
推荐理由:案例拆解了提示词缓存顺序的调整逻辑与生产指标,并给出可复用的多租户配置实践。
NVIDIA 在 SC26 宣布 Nemotron for Science、Rubin HPC GPU、扩展后的 Vera CPU 平台,以及与 IBM、Fermilab 的量子计算协作。
推荐理由:内容集中展示了科学智能体、GPU与CPU、量子纠错和网络技术的成套进展,并给出本地运行方式及性能数据,便于比较其科研工作流价值。
Amazon Bedrock Managed Knowledge Base 可通过 Agentic Retrieve 接入 AgentCore memory,自动恢复会话、检索长期记忆并保存对话轮次。教程以多用户员工助手为例,介绍 Cognito 身份映射、ACL 文档过滤、记忆命名空间、IAM 隔离和 trace 验证方法。
推荐理由:教程完整演示了多用户知识助手的记忆接入、权限隔离与请求配置,可用于梳理智能体记忆系统的落地方法。
NVIDIA 在 SC26 发布 DGX Spark HPC Developer Kit,以四台 DGX Spark 组成环形互联的多节点集群,面向研究人员、学者和开发者运行科学计算、AI 模型与智能体。
推荐理由:四节点配置、集群互联方式和本地部署能力被完整披露,为科研团队评估桌面级多节点工作流提供了具体依据。
AWS 提出多智能体系统应先采用确定性的 Tier 1 编排模式,仅在任务需要动态发现子任务时使用 Tier 2 自主模式。文章比较顺序管线、条件路由、并行工作流、计划编排、交接和辩论等模式,并给出架构选择决策树与五类反模式。制造业部署还需处理 p99 延迟、物理安全、边缘数据、班次周期记忆以及人工审批等约束。
推荐理由:文章以制造业为背景,系统梳理多智能体编排模式、反模式与选型方法,并讨论延迟、安全、边缘计算和班次交接等落地约束。
Duco 将智能体 AI 栈重建在 Amazon Bedrock 与 Amazon Bedrock AgentCore 之上,为 200 多家金融机构客户每月处理 200 亿笔交易,同时保持每租户数据隔离。
NVIDIA 运营负责人 Deb Shoquist 讲述其团队如何凭借 TSMC、Amphenol、Coherent、Lumentum 等长期合作伙伴,将设计转化为规模化 AI 产品。Amphenol 为含 1,500 根线缆的大型组件建造了 100 多条自动化产线,缺陷率要求低于 1 DPPM。NVIDIA 还投资新伙伴,并围绕 CPO 创建全新供应链,以支撑快速量产。
MoEngage 基于 Amazon Bedrock 和 Amazon Bedrock AgentCore 构建 Merlin AI,通过四类智能体在单次对话中完成营销活动、分析和调整。
推荐理由:文章拆解了从 OpenAPI 到 MCP 工具、租户隔离与模型托管的完整路径,为多租户 SaaS 接入智能体提供可复用架构。