跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

127 条精选近 30 天 120 条共收录 324 条

更新

精选归档 · 第 3 页

11月14日周六第 41–60 条
  1. AIHOT77

    Sierra 发布 Personal Agent Protocol(Poppy)v1.0

    Sierra 发布 Personal Agent Protocol(Poppy)v1.0,允许个人智能体通过企业智能体、网站和 API 与企业服务交互。协议基于 MCP、OpenAPI 和 UCP,并通过 OAuth 管理用户授权;Shopify 已为平台所有商家启用 Poppy,设计合作伙伴总数超过 100。

    推荐理由:Poppy v1.0 明确了个人智能体连接企业服务的协议机制,并提供分阶段接入、扩展机制、验证工具和实际业务案例。

11月13日周五
  1. Hugging Face Blog74

    llama.cpp 与 ggml 发布 v1.0.0 库版本

    llama.cpp 项目发布 llama.cpp v1.0.0 和 ggml v1.0.0 库版本,并为主要破坏性变更启用明确的 MAJOR 版本升级规则。新版本覆盖 Linux、macOS、Windows、Android 和 iOS 等分发渠道。llama.cpp 目前支持 150 多种架构变体及主流推测解码方法,ggml 则通过可动态加载的后端适配多种硬件。

    推荐理由:项目明确了公开 API 与 ABI 的主版本升级边界,为下游依赖和多平台集成的兼容性管理提供了清晰依据。

  2. GitHub Blog · AI & ML72

    GitHub Copilot 智能体技能实践指南

    GitHub Blog 介绍了构建可跨智能体复用技能的方法,涵盖任务定义、技能编排、项目配置、权限边界和人工审批。实践以 Proof Agent 与 Data Forge 为例,将技能分别打包为 Claude Code、Cursor 和 GitHub Copilot 所需格式,并通过 CI 检查验证各客户端的安装与执行设置。

    推荐理由:文章用 Proof Agent 和 Data Forge 展示如何拆分、配置及校验可跨智能体复用的技能,提供了可迁移的工程实践。

  3. AWS Machine Learning Blog76

    Natera 如何用 Amazon Bedrock AgentCore 构建实验室运维智能体系统 SWARM

    Natera 介绍如何基于 Amazon Bedrock AgentCore 构建实验室运维智能体系统 SWARM,用自动化诊断承接 Jira 工单,并保留工程师实时交互排障流程。

    推荐理由:文章拆解了 SWARM 的知识库、双运行时、技能库与持续评测架构,并给出安全、集成和文档处理细节,可迁移到同类运维智能体建设。

  4. AWS Machine Learning Blog62

    Amazon Bedrock 推理请求的四种成本控制选择

    Amazon Bedrock 的缓存时长、服务层级、推理强度和 maxTokens 会影响推理成本,但具体影响取决于模型与工作负载。文章通过测试展示各类设置的计费差异、模型支持情况和适用场景,并建议结合响应元数据、CloudWatch 日志、调用记录与账单数据逐项验证。

    推荐理由:文章通过对照测试说明缓存时长、服务层级、推理强度和输出上限如何影响 Bedrock 成本,并给出逐项验证与应用校准方法。

  5. AWS Machine Learning Blog69

    Amazon Bedrock AgentCore runtime 发布新一代更新,提升启动速度并扩展隔离会话能力

    Amazon Bedrock AgentCore runtime 发布新一代更新,会话启动速度最高提升 15x,计算能力扩展至 4x,资源运行效率最高提升 68%,同时保持 Firecracker MicroVM 硬件隔离。新版本支持最高 8 vCPUs、32 GB 内存和 10 GB 容器镜像,会话可在 2 秒内启动,并可动态挂载和保存数据以延伸信任边界。

    推荐理由:围绕隔离、启动速度与用量计费展开的更新,并给出客户实测数据,便于评估智能体规模化运行的基础设施取舍。

  6. AIHOT85

    Jensen Huang 辞任 Nvidia CEO 后对 AI 经济的五点影响分析

    Tomasz Tunguz 分析 Jensen Huang 辞任 Nvidia CEO 后对 AI 经济的五点影响。文中认为,财务约束可能放缓 AI 基础设施建设,Nvidia 对开源 AI 企业的投资与收购将留下更大缺口,监管与定制芯片竞争也可能受到推动。原文还披露,Colette Kress 被任命为临时 CEO,Harvey C. Jones 出任董事会主席。

    推荐理由:文章把 Nvidia 的投资、担保与开源支持拆成五项影响,便于理解管理层变动如何传导至 AI 建设节奏和供应商格局。

11月12日周四
  1. AWS Machine Learning Blog73

    AWS 介绍用 Agent DLC 将 AI 智能体从原型推进到生产

    AWS 提出 Agent DLC,通过一个生命周期、内外两个循环和明确的 gold standard,评估 AI 智能体的每次变更并决定是否发布。该框架覆盖 Define、Build、Evaluate、Release、Observe 和 Feed Back 六个环节,以及五个质量维度和三级验收标准。

    推荐理由:文章把智能体生产化拆为评估、诊断、改进与发布环节,并以指标对照说明单一总分无法暴露信息覆盖和责任约束问题。

  2. AWS Machine Learning Blog70

    AWS 使用 A2A 构建可组合、可互操作的多智能体系统

    AWS 演示如何使用 A2A 在两个独立账户中连接基于 LangChain 和 Strands Agents 构建的智能体。示例通过 Agent Card 发现技能,以双向 OAuth 认证实现跨边界协作,并由 3 个 Jupyter notebook 完成部署和端到端测试。

    推荐理由:教程完整拆解了跨框架、跨账户多智能体架构,并提供代码、部署步骤与信任边界测试。

  3. AIHOT77

    OpenRouter 开放7种语言本地化 beta,全站翻译验证约 $460

    OpenRouter 从今天起开放简体中文、西班牙语、巴西葡萄牙语、德语、法语、日语和韩语的本地化 beta,用户可从账户菜单切换语言或访问对应语言路径。网站现有 16,918 条英文文案,其每日流水线由 GPT-6.1 Sol 翻译,经代码检查和同模型验证后通过 pull request 提交人工合并。当前全站重译并验证约需 $460,7种语言每日处理 677 条变更约需 $18。

    推荐理由:OpenRouter 公开了可复用的本地化流水线设计,包括代码校验、模型验证、失败重试和缺陷回灌机制。

  4. AIHOT82

    OpenRouter 实测六模型并给出四层防护,解决 AI Agent 无限循环烧钱问题

    OpenRouter 通过六款模型实测,给出防止 AI Agent 无限循环烧钱的四层防护:doom-loop 检测、loopKey 重复判定、stopWhen 步数与成本上限,以及 API key 信用额度限制。启用 doomLoop: true 后,六款模型均在第三次相同工具调用处被拦截,18 次运行的总工具调用从 314 次降至 64 次,费用从 $0.29 降至 $0.05。

    推荐理由:教程用六模型实测说明四层防护如何识别重复调用并限制单次与整体成本,配置和代码可直接复用于 Agent 防失控场景。

  5. AWS Machine Learning Blog70

    Amazon Bedrock AgentCore 推出 Web Search API

    Amazon Bedrock AgentCore 推出 Web Search API,开发者可通过 AWS SDK 或 AWS CLI 以单次 API 调用获取由 Amazon 运营的网页索引结果。

    推荐理由:该 API 提供直接调用方式、过滤与配额说明及框架接入示例,便于开发者评估如何将实时网页检索纳入应用和智能体工作流。

  6. AWS Machine Learning Blog74

    在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

    Amazon SageMaker HyperPod 团队介绍如何通过梯度检查、环形重放审计和权重指纹比较,检测分布式训练中的静默数据损坏。检测到异常后,可将可疑 rank 映射到节点,隔离并更换故障节点,再从告警窗口之前的检查点恢复训练。方案已在配备 32 张 NVIDIA H100 GPU 的 PyTorch DDP 集群上测试,确定性审计每 100 步的实测开销为 10.1%。

    推荐理由:文章给出三项训练循环检查及故障定位、隔离和节点替换流程,并提供实测开销与注入故障结果。

  7. AWS Machine Learning Blog72

    AWS 介绍生成式 AI 可复用资产目录及部署方法

    AWS 介绍其生成式 AI Innovation Center 发布的23项开源可复用资产,并讲解如何选取、部署和验证 Contact Center GenAI Agent。这些资产覆盖 RAG、文档处理和智能体脚手架等能力,完整部署流程可在1小时内完成,并可节省约4–6周开发时间。

    推荐理由:文章提供23项开源资产的选型、部署与清理步骤,并结合客户案例说明可复用组件如何缩短交付周期。