跳到正文
AI 资讯
今天11月19日周四16 条
  1. AWS Machine Learning Blog59

    Exa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%

    Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。

  2. AWS Machine Learning Blog52

    AWS讲解Amazon Aurora PostgreSQL的负责任AI控制设计

    AWS博客以RAG客服机器人为例,讲解如何将AWS负责任AI的8个维度映射到Amazon Aurora PostgreSQL,并深入实现可解释性控制。方案使用Aurora ML从SQL生成1,024维Amazon Titan Text Embeddings V2向量,结合pgvector、RLS和Amazon Bedrock Guardrails,记录检索块、相似度、引用来源及护栏轨迹。

  3. AWS Machine Learning Blog79

    Airbnb 如何用单任务成本运营 Amazon Bedrock 编码智能体

    Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。

    推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。

  4. Hugging Face Blog73

    RadixArk 发布 DaisyRose-27B,探索长程智能体后训练效率

    RadixArk 发布首个模型 DaisyRose-27B,该模型基于 Qwen3.8-27B,使用 Miles 通过强化学习完成后训练。训练使用约 1,200 个精选任务,在 18 天内动用 144 张 H200 GPU,支持最长 1M tokens 的会话,并将 Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0%。

    推荐理由:RadixArk 公开了长程智能体后训练的数据、训练后端与沙箱方法,便于读者比较其效率收益与复现条件。

  5. AWS Machine Learning Blog49

    Social Department 如何构建具备文化意识的视频发现系统

    Social Department 用 QuickSearch 将编辑判断与实时趋势信号编码为检索流水线,直接返回适合娱乐营销的视频片段。系统运行于 Amazon Bedrock,使用 TwelveLabs Marengo 3.0 与 Pegasus 1.2 提供场景级视频推理,并支持四类单动作查询。流程遵循“AI 提议、人员决策”,由代码核验来源,客户团队逐项审批。

  6. AWS Machine Learning Blog65

    Salesforce 如何在 Amazon SageMaker AI 中部署跨区域推理路由

    Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。

    推荐理由:Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。

  7. Hugging Face Blog61

    Dharma-AI研究共享GPU集群上的大语言模型微调时长预测

    Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。

    推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。

  8. Hugging Face Blog64

    Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

    作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。

    推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。

11月18日周三
  1. Hugging Face Blog61

    IBM 时间序列模型原生登陆 Confluent Streamhouse

    IBM 时间序列基础模型现已原生集成到 Confluent Streamhouse,可在云端和本地以 CPU 运行预测、异常检测与语义智能。该系列包含四个模型,下载量已超过 5000 万,并可结合 Apache Flink 将结果用于生产优化、需求预测、欺诈检测和交易执行。代码与 notebook 位于 github.com/ibm-granite/granite-tsfm。

    推荐理由:Confluent 的原生集成把预测、异常检测和语义检索接入流式流水线,并覆盖云端与本地 CPU 部署,便于评估实时决策场景的落地方式。

  2. NVIDIA Blog72

    NVIDIA RTX Spark 紧凑型桌面设备由 ASUS、Dell 和 MSI 推出

    NVIDIA RTX Spark 紧凑型桌面设备现已由 ASUS、Dell 和 MSI 上市,配备 20 核 Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,可本地运行 120B 参数大语言模型。

    推荐理由:文章给出了新桌面设备的配置、上市品牌与本地 AI 工作流,便于读者了解桌面端智能体的硬件能力和软件生态。

  3. AWS Machine Learning Blog79

    使用 Amazon Bedrock AgentCore 降低 JSON 工作负载的 token 成本与延迟

    AWS 介绍三种降低 Amazon Bedrock AgentCore JSON 工作负载 token 成本和延迟的策略:将会话中的大型对象卸载至 Amazon S3、按需分页获取大型列表,并压缩超大字典输出。

    推荐理由:文章给出三种可组合的上下文优化方法,并用生产智能体数据展示其对 token 消耗、延迟和多轮交互稳定性的具体改善。

  4. AWS Machine Learning Blog65

    Amazon SageMaker AI 实时端点新增 KV cache 感知路由

    Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。

    推荐理由:文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。

  5. AWS Machine Learning Blog65

    AWS 教程:用规则处理确定性任务,用模型承担开放式判断

    AWS 提出降低生成式 AI 成本的分层方法,将输入校验、格式化和路由等确定性任务交给代码,固定选项任务使用受约束决策调用,开放式任务再交给满足质量要求的 Amazon Bedrock 模型。

    推荐理由:文章提供了一套按规则、受约束决策和模型分层处理工作流的方法,并给出对应的 AWS 实现与评测建议。

  6. AWS Machine Learning Blog68

    Amazon Bedrock AgentCore 通过 OAuth 安全接入 Snowflake Cortex AI 的三种模式

    Amazon Bedrock AgentCore Identity 支持通过 Amazon Bedrock AgentCore Gateway 以 OAuth 将 AI 智能体接入 Snowflake 管理的 MCP 服务端。

    推荐理由:文章通过三种端到端配置对比用户身份传播、审计粒度与运维成本,为智能体接入 Snowflake 选择 OAuth 模式提供可迁移依据。

  7. AWS Machine Learning Blog52

    AWS Forward Deployed Engineering扩展至15个国家并提供45天冲刺交付

    AWS Forward Deployed Engineering现已面向商业和公共部门客户覆盖15个国家,每个项目以45天冲刺在客户自己的AWS账户中交付。该服务围绕共享基础、业务工作流和内建治理构建生产级AI系统,并以Amazon Bedrock AgentCore、AWS安全控制和可复用上下文支持后续扩展。Marsh的首个用例在启动约两个月后投入生产,目标流程效率最高提升70%。

  8. AWS Machine Learning Blog71

    Amazon SageMaker AI 发布生成式 AI 数据准备能力

    Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。

    推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。

  9. AWS Machine Learning Blog82

    使用 SMART 和 Amazon Bedrock AgentCore 构建 WhatsApp AI 智能体

    SMART 提供开源 Python SDK 和 Terraform 技术栈,可将运行在 Amazon Bedrock AgentCore 上的智能体接入 WhatsApp,处理消息收发、媒体、会话记忆、调度和模板管理。

    推荐理由:完整演示了如何用 SMART 接入 WhatsApp,并覆盖消息处理、记忆、定时任务、模板管理、部署与本地调试等关键环节。

  10. OpenAI News74

    OpenAI 发布 GPT-6.2 Astra 和 Sol

    OpenAI 发布 GPT-6.2 Astra 和 Sol,提升专业输出、编码、电脑操作与效率,并降低 ChatGPT Work、Codex 和 API 的使用成本。新模型已面向 ChatGPT Work、Codex 和 API 提供。

    推荐理由:发布信息聚焦专业输出、编码、电脑操作和效率提升,并说明这些变化覆盖 ChatGPT Work、Codex 与 API。

  11. AWS Machine Learning Blog74

    AWS 提出智能体负责任 AI 三阶段实施路线图

    AWS 提出面向智能体平台和应用团队的三阶段负责任 AI 路线图,涵盖治理基础、试点部署、评估与加固,并给出可调整的 12 周实施周期。文章提供 Responsible AI Assessment Skill 和配套评分表,将 AWS Responsible AI Lens 的原则映射到各阶段关键任务,辅助团队评估成熟度。

    推荐理由:文章把智能体负责任 AI 拆分为治理基础、试点部署和评估加固三阶段,并提供成熟度评分方法,便于平台与应用团队落地治理。

  12. AWS Machine Learning Blog52

    AWS re:Invent 2026 AWS Quick 完整参会指南

    AWS 发布 AWS re:Invent 2026 的 AWS Quick 参会指南,集中介绍 11 月 30 日至 12 月 4 日举行的主题演讲、客户案例、动手实验和工作坊。内容涵盖企业治理、规模化部署、知识图谱、记忆、安全以及多智能体工作流,线下参会者也可通过直播观看 50 多场活动。

  13. AWS Machine Learning Blog71

    ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

    ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀放在缓存检查点之前,实现跨请求、案例和租户复用。生产环境中,65% 的输入 token 来自缓存,端到端延迟最高降低 25%,有效输入成本降低约 50%,每月超过 19B tokens 的推理支出节省约 40%。

    推荐理由:案例拆解了提示词缓存顺序的调整逻辑与生产指标,并给出可复用的多租户配置实践。

11月17日周二
  1. AWS Machine Learning Blog70

    如何使用 Agentic Retrieve 在 Amazon Bedrock Managed Knowledge Base 中构建记忆感知智能体

    Amazon Bedrock Managed Knowledge Base 可通过 Agentic Retrieve 接入 AgentCore memory,自动恢复会话、检索长期记忆并保存对话轮次。教程以多用户员工助手为例,介绍 Cognito 身份映射、ACL 文档过滤、记忆命名空间、IAM 隔离和 trace 验证方法。

    推荐理由:教程完整演示了多用户知识助手的记忆接入、权限隔离与请求配置,可用于梳理智能体记忆系统的落地方法。

  2. AWS Machine Learning Blog71

    AWS 多智能体设计模式与制造业架构选型指南

    AWS 提出多智能体系统应先采用确定性的 Tier 1 编排模式,仅在任务需要动态发现子任务时使用 Tier 2 自主模式。文章比较顺序管线、条件路由、并行工作流、计划编排、交接和辩论等模式,并给出架构选择决策树与五类反模式。制造业部署还需处理 p99 延迟、物理安全、边缘数据、班次周期记忆以及人工审批等约束。

    推荐理由:文章以制造业为背景,系统梳理多智能体编排模式、反模式与选型方法,并讨论延迟、安全、边缘计算和班次交接等落地约束。

  3. NVIDIA Blog45

    NVIDIA 如何借助全球供应链伙伴创造未来

    NVIDIA 运营负责人 Deb Shoquist 讲述其团队如何凭借 TSMC、Amphenol、Coherent、Lumentum 等长期合作伙伴,将设计转化为规模化 AI 产品。Amphenol 为含 1,500 根线缆的大型组件建造了 100 多条自动化产线,缺陷率要求低于 1 DPPM。NVIDIA 还投资新伙伴,并围绕 CPO 创建全新供应链,以支撑快速量产。