跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

127 条精选近 30 天 120 条共收录 324 条

更新

精选归档 · 第 5 页

11月7日周六第 81–100 条
  1. AWS Machine Learning Blog61

    使用 Okta Cross App Access 和 Amazon Bedrock AgentCore 治理 AI 智能体访问(第一部分)

    本文通过分步实践,演示如何使用 Okta Cross App Access 决定 AI 智能体可代表哪些用户访问哪些应用,并由 Amazon Bedrock AgentCore Identity 执行授权和短期凭证管理。

    推荐理由:文章给出完整的委托链配置、权限校验与性能测试,可作为跨应用 AI 智能体访问治理的实践参考。

  2. AWS Machine Learning Blog68

    AWS 讲解如何用 Amazon ECS Fargate 构建无服务器 MCP 服务器

    AWS 介绍其基于 Amazon ECS Fargate 构建的无服务器 MCP 服务器,为 AI 智能体提供统一访问企业数据湖的标准化网关。系统以元数据目录驱动数据集接入,通过 Amazon Bedrock 生成并校验 SQL,调用 Athena、Redshift 和 Knowledge Bases 完成查询与文档检索。

    推荐理由:文章完整拆解了基于元数据驱动、标准化 MCP 端点和分层权限控制的实现,可为多智能体访问企业数据湖提供可迁移架构。

11月6日周五
  1. AIHOT81

    Cursor 推出可构建、部署并分享在线应用的功能

    Cursor 推出在线应用构建功能,用户可在 Cursor 中启动云端智能体,描述需求后生成网页应用并完成部署。功能支持配置 Postgres 数据库、基于 Cursor SSO 的身份验证、托管环境、唯一域名和在线链接,并提供确定性检查、智能体式安全检查及团队发布控制。所有已启用云端智能体的付费方案均可使用该能力。

    推荐理由:Cursor 将需求描述、数据库配置、身份验证、部署和安全检查整合为一条流程,为团队构建可上线的内部应用提供了完整路径。

  2. NVIDIA Blog60

    NVIDIA Vera CPU提升AI智能体吞吐量与执行速度

    NVIDIA发布Vera CPU,兼顾AI智能体执行速度与每瓦容量。在100-megawatt数据中心对比中,Vera每瓦可支持1.6x更多智能体,相比最高能效的x86 CPU实现2x智能体速度。Perplexity、DeepInfra、ClickHouse、Daytona和Modal等合作方已开展生产环境测试,其中Daytona以Vera在10.8秒内上线1,000个智能体沙箱。

    推荐理由:通过与x86 CPU对比及合作伙伴实测,呈现Vera在智能体吞吐量、能耗效率和并发能力上的表现。

  3. Microsoft Research62

    PDD Kit 用 Verus 形式化验证智能体编写的 Rust 全栈应用

    Microsoft Research 推出研究原型 PDD Kit,将用户意图转为 Verus 形式化规范,验证编码智能体生成的 Rust 代码,并在证明无法覆盖处回退到测试。

    推荐理由:给出了从意图澄清、Verus 证明、信任边界测试到 CI 接入的完整流程,可用于评估形式化验证如何约束编码智能体生成代码。

  4. NVIDIA Blog60

    NVIDIA 通过全栈协同设计缓解 AI 推理显存压力

    NVIDIA 通过联合设计 GPU、CPU、网络、存储和软件,缓解大模型及智能体推理中的 HBM 内存压力。方案包括以 NVFP4 压缩模型权重和 KV cache、通过 Dynamo 与 CMX 分层复用上下文,以及让 cuVS 在 CPU 和存储中承载 RAG 索引。

    推荐理由:文章梳理了从模型权重、KV cache 到 RAG 索引的分层内存方案,并提供不同平台的吞吐量与成本对比。

11月5日周四
  1. Google Research60

    Google Research 提出 Agile Deliberation 框架定义主观 AI 分类边界

    Google Research 提出 Agile Deliberation 框架,通过概念范围界定和边界迭代帮助用户逐步澄清主观分类标准。框架利用视觉语言模型主动发现语义边缘样本,并将用户反馈接入自动提示词优化循环。

    推荐理由:框架将主观分类标准的定义过程转化为人机协作,并结合真实用户实验说明其在边界识别和交互负担上的改善。

  2. The Verge · AI85

    Big Tech 的 AI 数据中心扩张不会自行停止

    Amazon、Microsoft、Alphabet 和 Meta 计划今年合计投入至少 $720 billion,并将大部分资金用于 AI 基础设施,同时已安排未来至少 $1 trillion 的支出承诺。

    推荐理由:文章梳理科技巨头持续扩张 AI 数据中心的财务压力,并对比巨额投入、营收增长与商业回报之间的落差。

  3. AWS Machine Learning Blog65

    U Mobile 如何用 Amazon Bedrock AgentCore 构建智能体电信运营平台

    U Mobile 与 AWS 及 Axrail 基于 Amazon Bedrock AgentCore 构建 AiDaH,用于跨系统诊断和修复电信运营问题。平台采用六层架构与分层路由,由 8 个专业智能体覆盖 150 多个已记录运营场景;内部测量显示,2026 年 1 月至 9 月开通和网络工单下降 84.5%,一般咨询下降 81.6%,计费工单下降 48.7%。

    推荐理由:本文拆解 AiDaH 的六层架构、成本路由、安全基础和规格驱动开发方法,并提供电信运营智能体的落地参考。

  4. AWS Machine Learning Blog81

    Deep Insight 演示生产级 AI 智能体的四层上下文工程

    AWS 解决方案架构师团队以开源多智能体数据分析方案 Deep Insight 为参考实现,讲解生产级 AI 智能体的四层上下文工程方法。文章介绍多智能体架构隔离、输出 token 预算与自包含代码、文件化上下文与按需加载技能,以及独立验证智能体和安全机制。参考实现中,单次写入并执行工具可减少脚本加入上下文的 token 约 95%,按需加载技能可减少系统提示词约 97%。

    推荐理由:文章以 Deep Insight 代码演示四层上下文工程,涵盖多智能体隔离、提示词控制、文件系统外部化和验证机制,便于迁移到生产级智能体开发。

  5. AWS Machine Learning Blog73

    AWS Quick 智能审批如何兼顾 AI 智能体效率与人工监督

    AWS Quick 的 Smart Approvals 会结合用户请求和有限对话上下文审核符合条件的操作,并自动批准或交回用户确认。该功能不会扩大既有权限,强制人工审批和策略拒绝仍然有效,敏感数据等高影响操作应通过连接器操作权限保留人工把关。

    推荐理由:文章拆解了智能体审批机制、权限边界与审计路径,为设计人机协同审批和开展试点提供了可操作的方法。

11月4日周三
  1. AWS Machine Learning Blog62

    AWS 教程:在 Bedrock AgentCore Gateway 中实现 ServiceNow OBO token 交换

    AWS 教程演示如何为 Amazon Bedrock AgentCore Gateway 配置 Microsoft Entra ID OBO token 交换,使 AI 智能体调用 ServiceNow REST API 时保留用户身份并应用对应权限。

    推荐理由:教程完整拆解了跨 Microsoft Entra ID 与 ServiceNow 的 OBO 配置,并给出网关目标、权限映射和代码示例。

11月3日周二
  1. AIHOT76

    Claude Platform 推出 message threads 公测,降低长会话智能体延迟

    Claude Platform 推出 message threads 公测,智能体后续请求只需发送新增消息和前一次响应的 ID。官方数据显示,对于 500k 至 1M tokens 的请求,中位首 token 时间下降约 35%;线程默认对多数 Claude Code 用户开启,但 Claude 仍会读取完整对话,token 用量保持不变。

    推荐理由:message threads 通过仅发送新增消息降低长会话的等待时间,并明确给出使用方式、适用场景与 token 用量变化。

  2. The Decoder77

    Anthropic季度营收增长12倍,净亏损达$23.3 billion

    Anthropic季度营收接近$17 billion,同比增长12倍,但运营成本达到$17.5 billion,净亏损为$23.3 billion。公司称成本上升主要源于锁定短期算力容量的$5 billion支出和$2 billion员工捐赠配捐,并已与Amazon、Google、SpaceX等签署数十项协议。

    推荐理由:材料梳理了Anthropic营收增长、巨额亏损与算力承诺之间的关系,并呈现其IPO面临的成本压力。

  3. AWS Machine Learning Blog75

    在Amazon SageMaker AI上用知识蒸馏构建高效智能体

    AWS教程演示如何使用序列级知识蒸馏(SeqKD),在Amazon SageMaker AI上训练低成本购物智能体。流程包括由Amazon Bedrock上的GLM-5.3生成并筛选 ShoppingBench轨迹,再以LoRA微调Qwen3.5-4B、评测并部署。蒸馏模型的平均ASR从基础模型的0.297提升至0.541,接近GLM-5.3贪心解码的0.540;仅保留工具调用时降至0.415。

    推荐理由:完整展示SeqKD智能体的轨迹生成、过滤、训练、评测与部署链路,并量化推理保留和专项微调的效果差异。

11月1日周日
  1. AIHOT83

    Wiz 报告“黑色十月”:九个 AI 开发者平台接连披露安全事件

    Wiz 报告称,本月至少有九个 AI 开发者平台披露安全事件,部分事件涉及“agent swarm”攻击、凭据获取、权限提升或第三方依赖。Wiz 观察到两起企业密钥被滥用案例,攻击者进行了约 800k 和 1.7 million 次 Bedrock 调用,按标价计费用可能超过 $100k。报告还追踪了与被盗密钥测试和模型访问转售相关的网站及基础设施。

    推荐理由:报告串联九个平台的凭据泄露事件,并通过两起案例展示密钥盗用、模型调用滥用及转售市场的运作链条。