Exa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%
Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。
Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。
Amazon SageMaker AI Serverless 模型定制现已支持 FFT 全参数微调,无需管理 GPU 集群或分布式训练配置。作者以 Qwen3-4B 和 110K 代码指令数据集进行实验,FFT 在 100K+ 训练样本上的 LLM-as-Judge 语义正确率达到 90.0 percent,并提供 SageMaker Python SDK 示例。
Sumitomo Life 使用 ChatGPT Enterprise 研究保险公司、准备提案,并为投资分析编写代码;管理层的早期使用推动了团队采用。其应用覆盖调研、提案准备和代码编写等投资分析工作。
Amazon SageMaker JumpStart 在 SageMaker Studio 中推出 Model Leaderboard,可在同一界面并列比较 JumpStart 模型的质量、速度和成本。
推荐理由:Amazon SageMaker JumpStart 新榜单采用统一测量口径呈现模型质量、性能和成本,便于按实际部署配置筛选和比较候选模型。
Amazon SageMaker HyperPod 新增工作负载恢复与扩展基础设施检查,用于识别训练正确性、Kubernetes 集群状态和 Slurm 挂起任务三类故障。
AWS博客以RAG客服机器人为例,讲解如何将AWS负责任AI的8个维度映射到Amazon Aurora PostgreSQL,并深入实现可解释性控制。方案使用Aurora ML从SQL生成1,024维Amazon Titan Text Embeddings V2向量,结合pgvector、RLS和Amazon Bedrock Guardrails,记录检索块、相似度、引用来源及护栏轨迹。
Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。
推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。
Amazon Bedrock AgentCore Identity 可通过 AWS Secrets Manager 或 Amazon S3 引用 PEM 格式的私有 CA 证书,连接 VPC 内使用私有证书的 Keycloak 等 IdP。
推荐理由:指南完整覆盖私有 CA 配置、证书轮换、监控和访问控制,便于评估私有 IdP 接入方案与安全边界。
RadixArk 发布首个模型 DaisyRose-27B,该模型基于 Qwen3.8-27B,使用 Miles 通过强化学习完成后训练。训练使用约 1,200 个精选任务,在 18 天内动用 144 张 H200 GPU,支持最长 1M tokens 的会话,并将 Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0%。
推荐理由:RadixArk 公开了长程智能体后训练的数据、训练后端与沙箱方法,便于读者比较其效率收益与复现条件。
Social Department 用 QuickSearch 将编辑判断与实时趋势信号编码为检索流水线,直接返回适合娱乐营销的视频片段。系统运行于 Amazon Bedrock,使用 TwelveLabs Marengo 3.0 与 Pegasus 1.2 提供场景级视频推理,并支持四类单动作查询。流程遵循“AI 提议、人员决策”,由代码核验来源,客户团队逐项审批。
Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。
推荐理由:Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。
OpenAI 介绍其在模型训练至部署全流程中管理前沿 AI 风险的方法,涵盖模型对齐、沙箱、阻断性防护与监控。相关说明聚焦安全流程与控制措施,未涉及具体模型版本、参数规模或评测分数。
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
AWS Quick User Group DC 首次聚会让参与者探索如何借助 AWS Quick 将分析、自然语言交互和多步骤任务编排结合起来,为企业 AI 智能体构建可信的数据基础。
Stretto 与 AWS Generative AI Innovation Center、CI&T 合作构建了破产咨询 AI 语音智能体 Tara,并基于 Amazon Nova 2 Sonic 完成端到端架构和生产部署。
AWS 介绍了通过 Amazon Bedrock AgentCore Gateway 访问私有 API 和 MCP 服务器的 hub-and-spoke 网络模式。
Google DeepMind 开始向符合条件的 Google AI Ultra 订阅者推出新 Project Genie 体验,开放 Genie 4、Project Genie 智能体和社区画廊。
推荐理由:新体验集中展示了实时生成世界、智能体创作和社区分享的完整流程,为理解交互式世界模型的产品化路径提供了具体参考。
OpenAI 战略未来负责人 Dean Ball 分析高能力 AI 将如何重塑社会,并探讨人们如何继续掌控自身机构。讨论聚焦 AI 能力增强带来的潜在社会变化,以及人在这一进程中保有机构控制权的议题。
OpenAI 介绍了 Codex 沙箱在 macOS、Linux 和 Windows 上运行本机命令的工作方式。运行过程会遵循用户设置的文件系统与网络访问限制。
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
OpenAI 使用 GPT-6 Astra 优化了用于 Jalapeño 硅片的电路,并改进了 RISC-V 核心设计。这项成果展示了 AI 辅助芯片设计的进展。
IBM 时间序列基础模型现已原生集成到 Confluent Streamhouse,可在云端和本地以 CPU 运行预测、异常检测与语义智能。该系列包含四个模型,下载量已超过 5000 万,并可结合 Apache Flink 将结果用于生产优化、需求预测、欺诈检测和交易执行。代码与 notebook 位于 github.com/ibm-granite/granite-tsfm。
推荐理由:Confluent 的原生集成把预测、异常检测和语义检索接入流式流水线,并覆盖云端与本地 CPU 部署,便于评估实时决策场景的落地方式。
Hugging Face 以 Apache 2.0 许可证开源0.5B参数语音识别模型 Rumble-2-Flash,支持40+种语言,并原生支持 Transformers 和 vLLM。
推荐理由:通过与更大模型对比及通话场景评测,文章呈现0.5B语音识别模型在多语言、速度和鲁棒性上的表现。
NVIDIA RTX Spark 紧凑型桌面设备现已由 ASUS、Dell 和 MSI 上市,配备 20 核 Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,可本地运行 120B 参数大语言模型。
推荐理由:文章给出了新桌面设备的配置、上市品牌与本地 AI 工作流,便于读者了解桌面端智能体的硬件能力和软件生态。
Le Groupe Figaro 与 OpenAI 合作,将 Le Groupe Figaro 的新闻内容引入 ChatGPT。用户可在 ChatGPT 中查看新闻摘要和节选内容,并通过对应链接阅读原始报道。
Amazon SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,提供多节点部署、预填充与解码分离以及 KV-aware 路由。
推荐理由:文章给出两种部署路径、GLM-5.3 配置示例和多节点基准数据,可用于比较聚合与预填充、解码分离方案。
AWS 介绍三种降低 Amazon Bedrock AgentCore JSON 工作负载 token 成本和延迟的策略:将会话中的大型对象卸载至 Amazon S3、按需分页获取大型列表,并压缩超大字典输出。
推荐理由:文章给出三种可组合的上下文优化方法,并用生产智能体数据展示其对 token 消耗、延迟和多轮交互稳定性的具体改善。
OpenAI 在 ChatGPT 中推出新的 Sales 插件以及 30 多个新增和扩展的合作伙伴插件。相关插件可用于调研潜在客户、准备销售提案、更新 CRM 并推动交易进展。
推荐理由:新插件覆盖潜客研究、提案准备、CRM 更新和交易推进,呈现了 ChatGPT 在销售流程中的具体使用范围。
Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。
推荐理由:文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。
AWS 提出降低生成式 AI 成本的分层方法,将输入校验、格式化和路由等确定性任务交给代码,固定选项任务使用受约束决策调用,开放式任务再交给满足质量要求的 Amazon Bedrock 模型。
推荐理由:文章提供了一套按规则、受约束决策和模型分层处理工作流的方法,并给出对应的 AWS 实现与评测建议。
Amazon Bedrock AgentCore Identity 支持通过 Amazon Bedrock AgentCore Gateway 以 OAuth 将 AI 智能体接入 Snowflake 管理的 MCP 服务端。
推荐理由:文章通过三种端到端配置对比用户身份传播、审计粒度与运维成本,为智能体接入 Snowflake 选择 OAuth 模式提供可迁移依据。
AWS Agent Registry 现已支持自定义元数据 schema,让组织统一管理 AI 智能体、MCP server 和 skill 记录的字段、允许值与合规状态。
AWS Forward Deployed Engineering现已面向商业和公共部门客户覆盖15个国家,每个项目以45天冲刺在客户自己的AWS账户中交付。该服务围绕共享基础、业务工作流和内建治理构建生产级AI系统,并以Amazon Bedrock AgentCore、AWS安全控制和可复用上下文支持后续扩展。Marsh的首个用例在启动约两个月后投入生产,目标流程效率最高提升70%。
Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。
推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。
AWS 演示了如何在 Amazon SageMaker JumpStart 部署 OpenTSLM-Flamingo,并通过 TimeNet 加载 ARFBench 数据进行领域微调。
SMART 提供开源 Python SDK 和 Terraform 技术栈,可将运行在 Amazon Bedrock AgentCore 上的智能体接入 WhatsApp,处理消息收发、媒体、会话记忆、调度和模板管理。
推荐理由:完整演示了如何用 SMART 接入 WhatsApp,并覆盖消息处理、记忆、定时任务、模板管理、部署与本地调试等关键环节。
Astra for Law 在一项覆盖 24 个法律领域的发布评测中排名第一。所有 ChatGPT Enterprise 客户现均可申请使用该产品。
OpenAI 发布 GPT-6.2 Astra 和 Sol,提升专业输出、编码、电脑操作与效率,并降低 ChatGPT Work、Codex 和 API 的使用成本。新模型已面向 ChatGPT Work、Codex 和 API 提供。
推荐理由:发布信息聚焦专业输出、编码、电脑操作和效率提升,并说明这些变化覆盖 ChatGPT Work、Codex 与 API。
AWS 提出面向智能体平台和应用团队的三阶段负责任 AI 路线图,涵盖治理基础、试点部署、评估与加固,并给出可调整的 12 周实施周期。文章提供 Responsible AI Assessment Skill 和配套评分表,将 AWS Responsible AI Lens 的原则映射到各阶段关键任务,辅助团队评估成熟度。
推荐理由:文章把智能体负责任 AI 拆分为治理基础、试点部署和评估加固三阶段,并提供成熟度评分方法,便于平台与应用团队落地治理。
LoanPro 与 AWS 和 AllCloud 合作构建了基于 Amazon Bedrock AgentCore 的多智能体贷款服务助手,通过专用智能体汇总借款人信息、调用内部工具并推荐后续操作。