跳到正文
AI 资讯
今天11月19日周四21 条
  1. AWS Machine Learning Blog59

    Exa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%

    Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。

  2. AWS Machine Learning Blog52

    AWS讲解Amazon Aurora PostgreSQL的负责任AI控制设计

    AWS博客以RAG客服机器人为例,讲解如何将AWS负责任AI的8个维度映射到Amazon Aurora PostgreSQL,并深入实现可解释性控制。方案使用Aurora ML从SQL生成1,024维Amazon Titan Text Embeddings V2向量,结合pgvector、RLS和Amazon Bedrock Guardrails,记录检索块、相似度、引用来源及护栏轨迹。

  3. AWS Machine Learning Blog79

    Airbnb 如何用单任务成本运营 Amazon Bedrock 编码智能体

    Airbnb 介绍了如何通过自有任务评测和 Amazon CloudWatch 生产监控运营 Amazon Bedrock 上的编码智能体,并用单任务成本选择默认模型与推理强度。其评测覆盖 7 个任务套件和数百个任务,发布后则结合延迟、限流、token 消耗与费用记录持续复核模型选择。实践中还给出了按团队、应用及功能归因成本,以及在配额紧张时切换等价模型的方法。

    推荐理由:Airbnb 展示了如何把自有任务评测、单任务成本与生产监控联动,为编码智能体的模型选型和成本治理提供可复用流程。

  4. Hugging Face Blog73

    RadixArk 发布 DaisyRose-27B,探索长程智能体后训练效率

    RadixArk 发布首个模型 DaisyRose-27B,该模型基于 Qwen3.8-27B,使用 Miles 通过强化学习完成后训练。训练使用约 1,200 个精选任务,在 18 天内动用 144 张 H200 GPU,支持最长 1M tokens 的会话,并将 Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0%。

    推荐理由:RadixArk 公开了长程智能体后训练的数据、训练后端与沙箱方法,便于读者比较其效率收益与复现条件。

  5. The Verge · AI59

    美国拟在菲律宾建设1,620公顷AI芯片与数据中心枢纽

    美国与菲律宾拟共同开发Pax Silica经济安全区,在原克拉克空军基地建设1,620公顷芯片工厂、关键矿产加工厂和数据中心枢纽。菲律宾官员预计前25年租赁收入接近$1 billion,并称项目最多可创造190,000个直接岗位,但原住民、小农和人权组织担忧土地占用、水资源流失及环境污染。特朗普访菲期间还试图推动更多国家加入已有至少24国参与的Pax Silica倡议。

  6. AWS Machine Learning Blog49

    Social Department 如何构建具备文化意识的视频发现系统

    Social Department 用 QuickSearch 将编辑判断与实时趋势信号编码为检索流水线,直接返回适合娱乐营销的视频片段。系统运行于 Amazon Bedrock,使用 TwelveLabs Marengo 3.0 与 Pegasus 1.2 提供场景级视频推理,并支持四类单动作查询。流程遵循“AI 提议、人员决策”,由代码核验来源,客户团队逐项审批。

  7. AWS Machine Learning Blog65

    Salesforce 如何在 Amazon SageMaker AI 中部署跨区域推理路由

    Salesforce 将 Amazon SageMaker AI 推理路由器接入内部网关,通过统一调用在多个区域和 AWS 账户的现有端点之间调度流量。路由器依据近期请求结果进行健康判断和故障转移,并返回服务端点 ARN 与路由原因,数据驻留请求则固定在本地区域。该跨区域推理路由自 2026 年 11 月 18 日起在支持实时端点推理的所有商业区域正式可用。

    推荐理由:Salesforce 的实践展示了如何以统一调用、容量感知和访问策略实现跨区域推理,同时保留数据驻留约束。

  8. Hugging Face Blog61

    Dharma-AI研究共享GPU集群上的大语言模型微调时长预测

    Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。

    推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。

  9. Hugging Face Blog64

    Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

    作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。

    推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。

11月18日周三
  1. Hugging Face Blog61

    IBM 时间序列模型原生登陆 Confluent Streamhouse

    IBM 时间序列基础模型现已原生集成到 Confluent Streamhouse,可在云端和本地以 CPU 运行预测、异常检测与语义智能。该系列包含四个模型,下载量已超过 5000 万,并可结合 Apache Flink 将结果用于生产优化、需求预测、欺诈检测和交易执行。代码与 notebook 位于 github.com/ibm-granite/granite-tsfm。

    推荐理由:Confluent 的原生集成把预测、异常检测和语义检索接入流式流水线,并覆盖云端与本地 CPU 部署,便于评估实时决策场景的落地方式。

  2. The Decoder62

    哈佛大学研究估算美国超大规模数据中心超过一半电力来自化石燃料

    哈佛大学研究利用卫星图像识别美国403座大型数据中心,估算其年耗电量在68至99 TWh之间,中位情景约82 TWh,占美国用电量1.8%。其中约54%的电力来自天然气和煤,对应每年约2570万吨CO2排放。IEA同时预计,全球数据中心年CO2排放量将从目前约1.5亿吨增至2035年的约3.5亿吨。

  3. NVIDIA Blog72

    NVIDIA RTX Spark 紧凑型桌面设备由 ASUS、Dell 和 MSI 推出

    NVIDIA RTX Spark 紧凑型桌面设备现已由 ASUS、Dell 和 MSI 上市,配备 20 核 Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,可本地运行 120B 参数大语言模型。

    推荐理由:文章给出了新桌面设备的配置、上市品牌与本地 AI 工作流,便于读者了解桌面端智能体的硬件能力和软件生态。

  4. AIHOT85

    Anthropic 复盘用 chaos loop 强化 Claude Docs 上线:20 亿次请求仅 60 次服务器错误

    Anthropic 工程师复盘了用 Claude 驱动 chaos loop 在上线前强化 Claude Docs 的过程。团队让 Claude 持续执行压测、读取 Datadog 遥测、提出并部署修复,同时保留数据库架构等难以回退决策的人工审批。

    推荐理由:完整呈现了用 Claude 驱动 chaos loop 开展预发布压测、读取遥测并修复故障的流程与成本,为规模化 Agent 运维提供了可复现路径。

  5. Simon Willison77

    编码智能体外部沙箱模式与三种实现

    Simon Willison 与 Prime Radiant 提出外部沙箱模式,将编码智能体与代理执行代码隔离,并发布三种沙箱服务器实现。三种实现分别使用 v86 与 WebAssembly、Apple Containers,以及微软 Quicksand 库,均提供相同的 localhost API,可供 Pi、Claude Code 或 Codex 调用。

    推荐理由:外部沙箱将编码智能体与代码执行环境分离,并提供统一本地 API 和三种可替换实现,降低运行不可信代码时的机器风险。

  6. AWS Machine Learning Blog79

    使用 Amazon Bedrock AgentCore 降低 JSON 工作负载的 token 成本与延迟

    AWS 介绍三种降低 Amazon Bedrock AgentCore JSON 工作负载 token 成本和延迟的策略:将会话中的大型对象卸载至 Amazon S3、按需分页获取大型列表,并压缩超大字典输出。

    推荐理由:文章给出三种可组合的上下文优化方法,并用生产智能体数据展示其对 token 消耗、延迟和多轮交互稳定性的具体改善。

  7. AWS Machine Learning Blog65

    Amazon SageMaker AI 实时端点新增 KV cache 感知路由

    Amazon SageMaker AI 为实时端点新增 KV cache 感知路由,根据模型容器上报的缓存状态,将请求路由至最长缓存匹配且负载合适的实例。在 Llama 3.1 70B Instruct 的基准测试中,相比随机路由,其 p50 首 token 时间最多降低 97%,吞吐量最多提升 234%,KV cache 命中率从 3–48% 提升至 80–93%。

    推荐理由:文章对比了 KV_AWARE 与 PREFIX_AWARE、RANDOM 的路由表现,并给出启用、验证与回退方法,便于生产团队评估接入收益与代价。

  8. AWS Machine Learning Blog65

    AWS 教程:用规则处理确定性任务,用模型承担开放式判断

    AWS 提出降低生成式 AI 成本的分层方法,将输入校验、格式化和路由等确定性任务交给代码,固定选项任务使用受约束决策调用,开放式任务再交给满足质量要求的 Amazon Bedrock 模型。

    推荐理由:文章提供了一套按规则、受约束决策和模型分层处理工作流的方法,并给出对应的 AWS 实现与评测建议。

  9. AIHOT77

    Google AI Studio 集成 Gemini 4 Carbon 与 Hydrogen 构建全栈 Android 应用

    Google AI Studio 集成 Gemini 4 Carbon 与 Hydrogen,可从提示词生成具备数据持久化、用户登录和 AI 功能的 Kotlin Android 应用,并直接发布到个人 Google Play 库。

    推荐理由:原文完整说明了 Google AI Studio 的全栈 Android 构建与发布流程,可供开发者了解 Firebase、模拟器和 Agent 集成带来的工作流变化。

  10. AWS Machine Learning Blog68

    Amazon Bedrock AgentCore 通过 OAuth 安全接入 Snowflake Cortex AI 的三种模式

    Amazon Bedrock AgentCore Identity 支持通过 Amazon Bedrock AgentCore Gateway 以 OAuth 将 AI 智能体接入 Snowflake 管理的 MCP 服务端。

    推荐理由:文章通过三种端到端配置对比用户身份传播、审计粒度与运维成本,为智能体接入 Snowflake 选择 OAuth 模式提供可迁移依据。

  11. AWS Machine Learning Blog52

    AWS Forward Deployed Engineering扩展至15个国家并提供45天冲刺交付

    AWS Forward Deployed Engineering现已面向商业和公共部门客户覆盖15个国家,每个项目以45天冲刺在客户自己的AWS账户中交付。该服务围绕共享基础、业务工作流和内建治理构建生产级AI系统,并以Amazon Bedrock AgentCore、AWS安全控制和可复用上下文支持后续扩展。Marsh的首个用例在启动约两个月后投入生产,目标流程效率最高提升70%。

  12. AWS Machine Learning Blog71

    Amazon SageMaker AI 发布生成式 AI 数据准备能力

    Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。

    推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。