跳到正文
AI 资讯
今天11月19日周四7 条
  1. AWS Machine Learning Blog65

    Salesforce 如何在 Amazon SageMaker AI 中部署跨区域推理路由

    Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。

    推荐理由:Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。

11月18日周三
  1. Hugging Face Blog61

    IBM 时间序列模型原生登陆 Confluent Streamhouse

    IBM 时间序列基础模型现已原生集成到 Confluent Streamhouse,可在云端和本地以 CPU 运行预测、异常检测与语义智能。该系列包含四个模型,下载量已超过 5000 万,并可结合 Apache Flink 将结果用于生产优化、需求预测、欺诈检测和交易执行。代码与 notebook 位于 github.com/ibm-granite/granite-tsfm。

    推荐理由:Confluent 的原生集成把预测、异常检测和语义检索接入流式流水线,并覆盖云端与本地 CPU 部署,便于评估实时决策场景的落地方式。

  2. NVIDIA Blog72

    NVIDIA RTX Spark 紧凑型桌面设备由 ASUS、Dell 和 MSI 推出

    NVIDIA RTX Spark 紧凑型桌面设备现已由 ASUS、Dell 和 MSI 上市,配备 20 核 Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,可本地运行 120B 参数大语言模型。

    推荐理由:文章给出了新桌面设备的配置、上市品牌与本地 AI 工作流,便于读者了解桌面端智能体的硬件能力和软件生态。

  3. OpenAI News64

    OpenAI 为 ChatGPT 推出 Sales 插件及 30+ 合作伙伴插件

    OpenAI 在 ChatGPT 中推出新的 Sales 插件以及 30 多个新增和扩展的合作伙伴插件。相关插件可用于调研潜在客户、准备销售提案、更新 CRM 并推动交易进展。

    推荐理由:新插件覆盖潜客研究、提案准备、CRM 更新和交易推进,呈现了 ChatGPT 在销售流程中的具体使用范围。

  4. AWS Machine Learning Blog65

    Amazon SageMaker AI 实时端点新增 KV cache 感知路由

    Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。

    推荐理由:文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。

  5. AWS Machine Learning Blog52

    AWS Forward Deployed Engineering扩展至15个国家并提供45天冲刺交付

    AWS Forward Deployed Engineering现已面向商业和公共部门客户覆盖15个国家,每个项目以45天冲刺在客户自己的AWS账户中交付。该服务围绕共享基础、业务工作流和内建治理构建生产级AI系统,并以Amazon Bedrock AgentCore、AWS安全控制和可复用上下文支持后续扩展。Marsh的首个用例在启动约两个月后投入生产,目标流程效率最高提升70%。

  6. AWS Machine Learning Blog71

    Amazon SageMaker AI 发布生成式 AI 数据准备能力

    Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。

    推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。

11月17日周二
  1. AWS Machine Learning Blog71

    Amazon Bedrock 为开放权重模型新增显式提示词缓存

    Amazon Bedrock 的开放权重模型现支持显式提示词缓存,可通过缓存断点精确标记需复用的提示词前缀。开发者可使用 Chat Completions API 配置隐式或显式模式,并从响应中的缓存读写字段观察使用量;文章还演示了 OpenCode 编码智能体会话中的隐式缓存应用。

    推荐理由:文章对比了隐式与显式缓存的控制方式,并提供 Python 和 OpenCode 示例,便于开发者评估缓存命中与成本节省。

  2. NVIDIA Blog65

    NVIDIA Vera Rubin 在 MLPerf 训练与端点评测中取得领先性能

    NVIDIA Vera Rubin 平台首次亮相 MLPerf 评测,并在训练、后训练和智能体推理基准中取得领先性能。平台通过了 MLPerf Training v6.1 的全部项目,Vera Rubin NVL72 单 GPU 性能最高达到 GB300 NVL72 的 2 倍,扩展至 1,024 块 GPU 时效率约 97%,训练时间由 16 分钟缩短至约 4 分钟。

    推荐理由:原文汇总了 Vera Rubin 在训练、扩展效率与智能体推理上的基准表现,便于横向比较其性能和能效。

11月16日周一
11月14日周六
  1. OpenAI News65

    OpenAI 发布 ChatGPT Wallet

    OpenAI 发布 ChatGPT Wallet,为 ChatGPT Work、Codex 和 dots 中的 AI 智能体提供经用户批准的购买方式。该工具强调交易安全,并沿用现有卡片保护机制。

    推荐理由:ChatGPT Wallet 为多款产品中的 AI 智能体提供经用户批准的交易能力,并沿用现有卡片保护机制。

11月13日周五
  1. Hugging Face Blog74

    llama.cpp 与 ggml 发布 v1.0.0 库版本

    llama.cpp 项目发布 llama.cpp v1.0.0 和 ggml v1.0.0 库版本,并为主要破坏性变更启用明确的 MAJOR 版本升级规则。新版本覆盖 Linux、macOS、Windows、Android 和 iOS 等分发渠道。llama.cpp 目前支持 150 多种架构变体及主流推测解码方法,ggml 则通过可动态加载的后端适配多种硬件。

    推荐理由:项目明确了公开 API 与 ABI 的主版本升级边界,为下游依赖和多平台集成的兼容性管理提供了清晰依据。

  2. AWS Machine Learning Blog69

    Amazon Bedrock AgentCore runtime 发布新一代更新,提升启动速度并扩展隔离会话能力

    Amazon Bedrock AgentCore runtime 发布新一代更新,会话启动速度最高提升 15x,计算能力扩展至 4x,资源运行效率最高提升 68%,同时保持 Firecracker MicroVM 硬件隔离。新版本支持最高 8 vCPUs、32 GB 内存和 10 GB 容器镜像,会话可在 2 秒内启动,并可动态挂载和保存数据以延伸信任边界。

    推荐理由:围绕隔离、启动速度与用量计费展开的更新,并给出客户实测数据,便于评估智能体规模化运行的基础设施取舍。

11月12日周四
  1. AWS Machine Learning Blog70

    Amazon Bedrock AgentCore 推出 Web Search API

    Amazon Bedrock AgentCore 推出 Web Search API,开发者可通过 AWS SDK 或 AWS CLI 以单次 API 调用获取由 Amazon 运营的网页索引结果。

    推荐理由:该 API 提供直接调用方式、过滤与配额说明及框架接入示例,便于开发者评估如何将实时网页检索纳入应用和智能体工作流。

11月11日周三