跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

48 条精选近 30 天 44 条共收录 225 条

更新

精选归档 · 第 2 页

11月10日周二第 21–40 条
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics 2.5 通用灵巧模型

    Google DeepMind 发布 Gemini Robotics 2.5 视觉语言动作模型,以扩大机器人的技能范围并加快技能习速度。该模型在 200 多项任务中相较此前基线实现 30% 至 100% 的成功率提升,任务完成速度提高 20% 至 30%。

    推荐理由:模型覆盖200项任务,并在汽车工厂试点中验证了灵巧度、可靠性与安全能力,可为机器人模型评测和落地提供参考。

  2. Google DeepMind81

    AlphaProof Code 深度形式化验证 Signal 密码协议代码

    Google DeepMind 使用 AlphaProof Code 引导 AI 智能体,对 Signal 密码协议实际运行代码的关键安全属性进行形式化证明。由 Gemini Carbon 驱动的智能体生成了超过 600 万行 Lean 证明,供专家复核的代码范围仅占 1%,整个验证过程耗时 4 周,相关形式化验证工件也已开源。

    推荐理由:文章详述多智能体形式化验证框架如何将密码协议安全目标转化为 Lean 证明,并给出人工复核比例与周期等验证细节。

  3. AIHOT81

    Anthropic 用 1000 个 Claude Fable 5.2 智能体在沙箱内复现费马大定理形式化证明

    Anthropic 让 1000 个运行 Claude Fable 5.2 早期版本的智能体在沙箱内复现费马大定理的 Lean 形式化证明,团队仅使用 Git 和共享数据库协调。实验历时 28.7 小时,输出 token 用量为原方案的三分之一,证明长度为原方案的七分之一;运行期间没有工具调用达到实时阻断标准。

    推荐理由:实验记录了千个智能体如何通过数据库、Git 与任务树自主协调,并展示沙箱和双重监控对规模化智能体实验的支撑。

  4. AWS Machine Learning Blog76

    AWS Pluggable Agentic AI Framework 七层企业智能体参考架构解析

    AWS 介绍了一套由七层组成的 Pluggable Agentic AI Framework,用于将多智能体应用从原型推进到生产规模。架构覆盖数据与知识、模型与推理、编排、安全护栏、应用、可观测性和智能体运维,并以零售客服场景演示主管智能体委派订单与退款专员智能体的实现流程。文中还提供 Workshop Studio 体验和公开示例仓库,但明确指出该实现不能替代生产环境所需的安全加固、测试与审查。

    推荐理由:这套架构把安全、治理、成本、可观测性和持续评测纳入分层设计,并提供零售客服案例,可作为企业智能体生产化的落地参考。

11月7日周六
  1. AWS Machine Learning Blog68

    AWS 讲解如何用 Amazon ECS Fargate 构建无服务器 MCP 服务器

    AWS 介绍其基于 Amazon ECS Fargate 构建的无服务器 MCP 服务器,为 AI 智能体提供统一访问企业数据湖的标准化网关。系统以元数据目录驱动数据集接入,通过 Amazon Bedrock 生成并校验 SQL,调用 Athena、Redshift 和 Knowledge Bases 完成查询与文档检索。

    推荐理由:文章完整拆解了基于元数据驱动、标准化 MCP 端点和分层权限控制的实现,可为多智能体访问企业数据湖提供可迁移架构。

11月6日周五
  1. Microsoft Research62

    PDD Kit 用 Verus 形式化验证智能体编写的 Rust 全栈应用

    Microsoft Research 推出研究原型 PDD Kit,将用户意图转为 Verus 形式化规范,验证编码智能体生成的 Rust 代码,并在证明无法覆盖处回退到测试。

    推荐理由:给出了从意图澄清、Verus 证明、信任边界测试到 CI 接入的完整流程,可用于评估形式化验证如何约束编码智能体生成代码。

11月4日周三
11月3日周二
  1. TechCrunch · AI77

    Anthropic 警告其可能接近递归自我改进能力

    Anthropic 在修订后的 S-1A 中警告,公司可能很快达到其 Responsible Scaling Policy 所定义的“递归自我改进”相关阈值。该文件称,目前尚无模型越过这一阈值,但 AI 已帮助开发出能力跃升超出预期的新模型。公司还表示,即使未来 Claude 能够自主设计并构建后续前沿模型,也将继续保留有意义的人类监督与理解。

    推荐理由:文章梳理 Anthropic 对递归自我改进的风险表述,并分析其接近内部安全阈值的可能性与治理争议。

11月1日周日
  1. AIHOT83

    Wiz 报告“黑色十月”:九个 AI 开发者平台接连披露安全事件

    Wiz 报告称,本月至少有九个 AI 开发者平台披露安全事件,部分事件涉及“agent swarm”攻击、凭据获取、权限提升或第三方依赖。Wiz 观察到两起企业密钥被滥用案例,攻击者进行了约 800k 和 1.7 million 次 Bedrock 调用,按标价计费用可能超过 $100k。报告还追踪了与被盗密钥测试和模型访问转售相关的网站及基础设施。

    推荐理由:报告串联九个平台的凭据泄露事件,并通过两起案例展示密钥盗用、模型调用滥用及转售市场的运作链条。

10月30日周五
  1. The Verge · AI80

    Anthropic S-1 用宏大叙事与风险披露描绘 AI 上市蓝图

    Anthropic 在 335 页 S-1 中以带来人类“奇迹”的 AI 愿景争取投资者,同时用 94 页风险因素披露模型失控、人类存续和盈利不确定性。文件将这种披露称为“彻底坦诚”,并说明公司将以公共利益公司形式优先考虑社会使命。Anthropic 还披露了数千亿美元的计算资源义务、计划自建数据中心,以及第二季度营收增长和亏损收窄等信息。

    推荐理由:文章拆解 Anthropic S-1 的宏大叙事与风险披露,呈现 AI 公司上市时如何向投资者呈现使命与不确定性。

  2. The Decoder82

    Epoch AI 研究:开源权重模型 GLM 5.3 在 48 小时内无人干预构建 Firefox 漏洞利用链

    Epoch AI 研究人员报告,开源权重模型 GLM 5.3 在 9 月 17 日至 10 月 26 日发布的 6 个 Firefox 版本上利用补丁公开到推送用户之间的“patch gap”窗口,自主构建了完整的多阶段漏洞利用链,未使用任何人工输入,单次成功攻击的 API 费用约 $1,000,最快一次用时 12 小时。

    推荐理由:报告给出 patch gap 这一可迁移的攻击面定义、攻击成本与失败对照实验,为评估开源模型对软件发布流程的风险提供了具体依据。

  3. Latent Space76

    AIE CODE 大会聚焦智能体工程与 2027 年技术趋势

    AIE CODE 是一场面向全球前 1000 名智能体工程师的邀请制单轨大会,将围绕 Scaling without Slop、System One models 和 Increasing Ambition 三项主题总结 2026 年并展望 2027 年。随后的 AINews 还汇总了 Mistral Large 4 开源权重发布、模型监控与安全事件、评测榜单、推理基础设施和智能体工具等动态。

    推荐理由:文章既说明 AIE CODE 的议程与参会规模,也汇总模型发布、智能体安全、评测和部署动态,便于快速把握当前 AI 工程进展。

  4. AIHOT76

    Cursor 披露 Claude Code VS Code 扩展植入恶意软件事件

    Cursor 发现 Claude Code VS Code 扩展被植入恶意软件,最多影响 5000 用户,恶意版本并非 Anthropic 开发。Cursor 已下线扩展市场并与相关提供方合作清除恶意软件,确认无进一步风险后重新上线,受影响用户可按博客说明排查并升级至 Claude Code for VS Code 2.1.314。

    推荐理由:Cursor 披露 Claude Code VS Code 扩展恶意软件事件,说明影响范围、处置措施和用户升级路径,便于相关用户评估风险并采取应对。

10月29日周四
  1. AIHOT78

    The Verge 解读 Anthropic S-1:约 8500 亿美元 compute 承诺押注递归自我改进

    The Verge 解读 Anthropic S-1,认为约 8500 亿美元的未来 compute 与基础设施承诺要求公司维持高速增长,而这构成了其押注递归自我改进的商业动力。S-1 显示公司 2026 年上半年收入达 $16.3 billion,同时承认模型开发速度可能超过开发、验证和实施安全、对齐与安全措施的能力。

    推荐理由:文章从 S-1 的采购承诺和收入结构拆解 Anthropic 的增长压力,并讨论递归自我改进与安全措施之间的张力。

  2. AIHOT76

    Cursor通报Cursor扩展市场出现恶意Anthropic.claude-code 2.1.312和2.1.313版本

    Cursor发现Cursor VS Code扩展市场曾分发非Anthropic开发的恶意Anthropic.claude-code 2.1.312和2.1.313版本。恶意扩展收集主机和用户信息,尝试植入长期生效的SSH后门;Cursor已移除相关版本、关闭并重建市场,同时与云服务商合作下线攻击者服务器。文中提供macOS和Windows修复脚本、入侵指标,以及受影响主机的排查与凭证轮换步骤。

    推荐理由:Cursor披露了恶意扩展的版本范围、攻击机制与修复脚本,并提供入侵指标,便于受影响用户排查后门。

  3. AIHOT78

    Anthropic 报告 Claude 研究模型发现多平台漏洞并串联 5 条攻击链

    Anthropic 发布研究报告称,其内部未公开的 Claude 研究模型在 Chrome、Safari、Android、Windows 和 Linux 中发现漏洞,并串联出 5 条可实际运行的攻击链。Chrome 报告产生 62 个严重或高危 CVE,其中修复已随 Chrome 156 发布;相关漏洞也已通过协调披露流程交由厂商处理。

    推荐理由:报告展示了 Claude 自主发现漏洞、编写利用代码并串联多平台漏洞的方法与攻击链细节。