如何在 Amazon SageMaker AI Serverless 模型定制中使用 FFT 全参数微调
Amazon SageMaker AI Serverless 模型定制现已支持 FFT 全参数微调,无需管理 GPU 集群或分布式训练配置。作者以 Qwen3-4B 和 110K 代码指令数据集进行实验,FFT 在 100K+ 训练样本上的 LLM-as-Judge 语义正确率达到 90.0 percent,并提供 SageMaker Python SDK 示例。
Amazon SageMaker AI Serverless 模型定制现已支持 FFT 全参数微调,无需管理 GPU 集群或分布式训练配置。作者以 Qwen3-4B 和 110K 代码指令数据集进行实验,FFT 在 100K+ 训练样本上的 LLM-as-Judge 语义正确率达到 90.0 percent,并提供 SageMaker Python SDK 示例。
Amazon SageMaker JumpStart 在 SageMaker Studio 中推出 Model Leaderboard,可在同一界面并列比较 JumpStart 模型的质量、速度和成本。
推荐理由:Amazon SageMaker JumpStart 新榜单采用统一测量口径呈现模型质量、性能和成本,便于按实际部署配置筛选和比较候选模型。
Amazon SageMaker HyperPod 新增工作负载恢复与扩展基础设施检查,用于识别训练正确性、Kubernetes 集群状态和 Slurm 挂起任务三类故障。
Amazon Bedrock AgentCore Identity 可通过 AWS Secrets Manager 或 Amazon S3 引用 PEM 格式的私有 CA 证书,连接 VPC 内使用私有证书的 Keycloak 等 IdP。
推荐理由:指南完整覆盖私有 CA 配置、证书轮换、监控和访问控制,便于评估私有 IdP 接入方案与安全边界。
Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。
推荐理由:Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。
AWS Quick User Group DC 首次聚会让参与者探索如何借助 AWS Quick 将分析、自然语言交互和多步骤任务编排结合起来,为企业 AI 智能体构建可信的数据基础。
Google DeepMind 开始向符合条件的 Google AI Ultra 订阅者推出新 Project Genie 体验,开放 Genie 4、Project Genie 智能体和社区画廊。
推荐理由:新体验集中展示了实时生成世界、智能体创作和社区分享的完整流程,为理解交互式世界模型的产品化路径提供了具体参考。
IBM 时间序列基础模型现已原生集成到 Confluent Streamhouse,可在云端和本地以 CPU 运行预测、异常检测与语义智能。该系列包含四个模型,下载量已超过 5000 万,并可结合 Apache Flink 将结果用于生产优化、需求预测、欺诈检测和交易执行。代码与 notebook 位于 github.com/ibm-granite/granite-tsfm。
推荐理由:Confluent 的原生集成把预测、异常检测和语义检索接入流式流水线,并覆盖云端与本地 CPU 部署,便于评估实时决策场景的落地方式。
NVIDIA RTX Spark 紧凑型桌面设备现已由 ASUS、Dell 和 MSI 上市,配备 20 核 Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,可本地运行 120B 参数大语言模型。
推荐理由:文章给出了新桌面设备的配置、上市品牌与本地 AI 工作流,便于读者了解桌面端智能体的硬件能力和软件生态。
Amazon SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,提供多节点部署、预填充与解码分离以及 KV-aware 路由。
推荐理由:文章给出两种部署路径、GLM-5.3 配置示例和多节点基准数据,可用于比较聚合与预填充、解码分离方案。
OpenAI 在 ChatGPT 中推出新的 Sales 插件以及 30 多个新增和扩展的合作伙伴插件。相关插件可用于调研潜在客户、准备销售提案、更新 CRM 并推动交易进展。
推荐理由:新插件覆盖潜客研究、提案准备、CRM 更新和交易推进,呈现了 ChatGPT 在销售流程中的具体使用范围。
Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。
推荐理由:文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。
AWS Agent Registry 现已支持自定义元数据 schema,让组织统一管理 AI 智能体、MCP server 和 skill 记录的字段、允许值与合规状态。
AWS Forward Deployed Engineering现已面向商业和公共部门客户覆盖15个国家,每个项目以45天冲刺在客户自己的AWS账户中交付。该服务围绕共享基础、业务工作流和内建治理构建生产级AI系统,并以Amazon Bedrock AgentCore、AWS安全控制和可复用上下文支持后续扩展。Marsh的首个用例在启动约两个月后投入生产,目标流程效率最高提升70%。
Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。
推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。
Astra for Law 在一项覆盖 24 个法律领域的发布评测中排名第一。所有 ChatGPT Enterprise 客户现均可申请使用该产品。
NVIDIA 在 SC26 宣布 Nemotron for Science、Rubin HPC GPU、扩展后的 Vera CPU 平台,以及与 IBM、Fermilab 的量子计算协作。
推荐理由:内容集中展示了科学智能体、GPU与CPU、量子纠错和网络技术的成套进展,并给出本地运行方式及性能数据,便于比较其科研工作流价值。
NVIDIA 在 SC26 发布 DGX Spark HPC Developer Kit,以四台 DGX Spark 组成环形互联的多节点集群,面向研究人员、学者和开发者运行科学计算、AI 模型与智能体。
推荐理由:四节点配置、集群互联方式和本地部署能力被完整披露,为科研团队评估桌面级多节点工作流提供了具体依据。
OpenAI 演示了 Holiday Extras 中 Dots 在用户主动询问前执行任务的能力。它可自动生成发布报告、提示可能被忽略的问题,并在通勤途中讨论即将举行的会议。
OpenAI 加强打击网络儿童性虐待,引入新工具、实用指导,并通过合作伙伴提供支持。相关措施旨在预防、检测和应对网络儿童性剥削与虐待。
OpenAI 扩大 ChatGPT for Academic Researchers 计划,向全球 200,000 名研究者免费提供其前沿模型访问权限。
推荐理由:该计划为全球学术研究者提供免费使用前沿模型的渠道,有助于理解 AI 工具科研普惠的推进方式。
Amazon Bedrock 的开放权重模型现支持显式提示词缓存,可通过缓存断点精确标记需复用的提示词前缀。开发者可使用 Chat Completions API 配置隐式或显式模式,并从响应中的缓存读写字段观察使用量;文章还演示了 OpenCode 编码智能体会话中的隐式缓存应用。
推荐理由:文章对比了隐式与显式缓存的控制方式,并提供 Python 和 OpenCode 示例,便于开发者评估缓存命中与成本节省。
NVIDIA 在 SC26 宣布 Rubin HPC,这是 NVIDIA Vera Rubin 平台的新 GPU,面向科学、工程与分析工作流中的仿真和数据处理。Rubin HPC 单 GPU 配备超过 50,000 个 CUDA cores,支持稀疏数据加速与第七代 NVIDIA NVLink,预计于 2028 年推出。
NVIDIA 扩展 CUDA-X 科学计算库,引入 cuPhoton、cuPotential、cuSpa 等工具,为 AI 智能体分析大规模科学数据提供支持。cuPhoton.xBeam 将黑洞观测关联分析从一个多月缩短至 8 分钟,cuPotential 将既有分子模拟软件加速最多 3x,开源 cuSpa 相比 CPU 提升 900x。
NVIDIA Vera Rubin 平台首次亮相 MLPerf 评测,并在训练、后训练和智能体推理基准中取得领先性能。平台通过了 MLPerf Training v6.1 的全部项目,Vera Rubin NVL72 单 GPU 性能最高达到 GB300 NVL72 的 2 倍,扩展至 1,024 块 GPU 时效率约 97%,训练时间由 16 分钟缩短至约 4 分钟。
推荐理由:原文汇总了 Vera Rubin 在训练、扩展效率与智能体推理上的基准表现,便于横向比较其性能和能效。
Lambda采用NVIDIA Photonics共封装光学(CPO)交换机,将NVIDIA GB300 NVL72机架连接至超过10,000块GPU,用于提升大规模AI工厂的网络效率与韧性。
ChatGPT for Healthcare 新增 computer-use agents、改进后的临床回答,以及可跨医疗软件协作的 healthcare plugins。这些能力面向医疗场景中的实际工作,帮助推进照护流程。
OpenAI 推出新的科学博客,分享研究人员使用 AI 推进科学发现的新成果、实用方法和一手经验。内容聚焦 AI 在科学发现中的应用,并提供相关实践方法与研究人员的第一手叙述。
Shield 利用 OpenAI 帮助 IT 技术人员移交旧版门户工作,Forge agents 负责在系统中导航。方案让技术人员能够将注意力集中在需要他们判断的问题上。
OpenAI 发布 ChatGPT Wallet,为 ChatGPT Work、Codex 和 dots 中的 AI 智能体提供经用户批准的购买方式。该工具强调交易安全,并沿用现有卡片保护机制。
推荐理由:ChatGPT Wallet 为多款产品中的 AI 智能体提供经用户批准的交易能力,并沿用现有卡片保护机制。
llama.cpp 项目发布 llama.cpp v1.0.0 和 ggml v1.0.0 库版本,并为主要破坏性变更启用明确的 MAJOR 版本升级规则。新版本覆盖 Linux、macOS、Windows、Android 和 iOS 等分发渠道。llama.cpp 目前支持 150 多种架构变体及主流推测解码方法,ggml 则通过可动态加载的后端适配多种硬件。
推荐理由:项目明确了公开 API 与 ABI 的主版本升级边界,为下游依赖和多平台集成的兼容性管理提供了清晰依据。
Amazon 宣布 SGLang-Neuron 已公开可用,可通过 AWS Deep Learning Container 在 AWS Trainium 上部署模型并生成 RL rollouts。
推荐理由:文章提供容器启动、模型服务和请求验证的完整路径,并说明插件架构与多硬件支持,便于评估迁移和配置成本。
Amazon Bedrock AgentCore runtime 发布新一代更新,会话启动速度最高提升 15x,计算能力扩展至 4x,资源运行效率最高提升 68%,同时保持 Firecracker MicroVM 硬件隔离。新版本支持最高 8 vCPUs、32 GB 内存和 10 GB 容器镜像,会话可在 2 秒内启动,并可动态挂载和保存数据以延伸信任边界。
推荐理由:围绕隔离、启动速度与用量计费展开的更新,并给出客户实测数据,便于评估智能体规模化运行的基础设施取舍。
《Warhammer 40,000: Dawn of War IV》将于周四在 Steam 发售,并同步登陆 GeForce NOW,支持 PC、Mac 与掌机等设备云端游玩。
Amazon Bedrock AgentCore 推出 Web Search API,开发者可通过 AWS SDK 或 AWS CLI 以单次 API 调用获取由 Amazon 运营的网页索引结果。
推荐理由:该 API 提供直接调用方式、过滤与配额说明及框架接入示例,便于开发者评估如何将实时网页检索纳入应用和智能体工作流。
AWS 在 2026 年 10 月更新了 Amazon Bedrock、Amazon Bedrock AgentCore 与 Strands,扩充可用模型并加强智能体构建、运行和评测能力。
推荐理由:文章集中梳理了模型、智能体可靠性、治理、成本与本地部署更新,可按生产需求定位对应能力。
AWS 开源 Universal Agent Evaluation Framework(UAEF),通过适配器统一不同框架的执行轨迹,并用 36 项内置指标从 7 个维度评估 AI 智能体。
推荐理由:文章给出统一适配、指标选择、数据集准备与实验对比流程,便于跨框架建立可复用的智能体评估闭环。
Amazon SageMaker AI 宣布为双向流式推理引入按用量计费,模型提供商可在实时会话中报告实际使用量,并按 AWS Marketplace 约定收取软件费用。
Cogent 与 OpenAI 合作构建面向企业的网络防御工厂,将 OpenAI 模型、企业上下文与 AI 智能体结合,用于自动修复漏洞。方案通过引入企业特定信息,帮助智能体识别并处理安全风险。
超过 20,000 名退役军人和转业军人已领取 ChatGPT Plus 一年的免费使用资格。他们利用 ChatGPT Plus 为转入民用职业做准备。