跳到正文
AI 资讯
11月4日周三
  1. The Verge · AI55

    2026年美国中期选举牵动 AI 监管与数据中心政策走向

    2026年美国中期选举将影响特朗普任期最后两年的权力范围,并塑造 AI 监管、数据中心扩张及科技公司问责的议题走向。选民关注焦点包括数据中心带来的能源成本、AI 安全、Flock 监控技术扩张,以及加州对亿万富豪财富征税可能引发的科技业应对。新一届国会可能继续讨论 AI 监管与数据中心反弹,选举结果还将影响哪些科技公司 CEO 会到国会作证。

  2. AIHOT67

    Transluce 自动化批量生成 6915 个带意外副作用的训练数据集 DSSE-1.1

    Transluce 构建自动化流水线并发布 DSSE-1.1,批量生成 6,915 个可诱发意外模型行为的数据集,覆盖 18 类目标行为。流水线以诱发行为、自然度和意外性为目标,通过两阶段搜索、重新评分及过滤选出高质量样本。尽管候选数据集针对 1.7B 参数模型优化,许多结果仍可泛化至不同模型家族和规模,但 ML 研究人员预测副作用的准确率仅略高于随机水平。

11月3日周二
  1. MIT Technology Review · AI46

    “逆向博弈论”如何约束 AI 智能体

    研究人员提出利用“逆向博弈论”或机制设计约束 AI 智能体,通过设计激励规则减少模型在测试中故意表现不佳、隐藏意图等行为。相关方案包括让模型互相预测答案、竞争作答,以及让“solver”和“auditor”互相检查;但该方法依赖智能体趋于理性,也面临智能体串通和难以审计等风险。

  2. TechCrunch · AI77

    Anthropic 警告其可能接近递归自我改进能力

    Anthropic 在修订后的 S-1A 中警告,公司可能很快达到其 Responsible Scaling Policy 所定义的“递归自我改进”相关阈值。该文件称,目前尚无模型越过这一阈值,但 AI 已帮助开发出能力跃升超出预期的新模型。公司还表示,即使未来 Claude 能够自主设计并构建后续前沿模型,也将继续保留有意义的人类监督与理解。

    推荐理由:文章梳理 Anthropic 对递归自我改进的风险表述,并分析其接近内部安全阈值的可能性与治理争议。

  3. AIHOT69

    OpenAI 训练并部署激活分类器监控前沿模型安全

    OpenAI 介绍了从 GPT-5.6 开始部署的激活分类器,这些轻量级模型利用 LLM 内部激活分类模型输出是否存在失配或不当行为。该方法可在生成过程中流式判断并阻断违规回复及工具调用,还支持越狱检测、模型检查点迁移和规模化评估。文章同时说明了探针对标注数据、基础模型权重变化和前置文本的依赖。

  4. Ars Technica · AI41

    Anthropic 为 Claude 加入禁止复刻既有游戏的系统提示词规则,但难以阻止 AI 游戏抄袭热潮

    Anthropic 上周为 Claude 模型加入系统提示词规则,要求构建原创游戏,不得复刻具体既有游戏,即使改名或宣称原创。该规则出现在 10 月 30 日发布的 Claude Code v2.1.314 中,Claude Opus 5.5 也有独立限制指令,但这可能无法遏制近几个月激增的 AI 辅助游戏移植与抄袭。

11月2日周一
11月1日周日
  1. AIHOT83

    Wiz 报告“黑色十月”:九个 AI 开发者平台接连披露安全事件

    Wiz 报告称,本月至少有九个 AI 开发者平台披露安全事件,部分事件涉及“agent swarm”攻击、凭据获取、权限提升或第三方依赖。Wiz 观察到两起企业密钥被滥用案例,攻击者进行了约 800k 和 1.7 million 次 Bedrock 调用,按标价计费用可能超过 $100k。报告还追踪了与被盗密钥测试和模型访问转售相关的网站及基础设施。

    推荐理由:报告串联九个平台的凭据泄露事件,并通过两起案例展示密钥盗用、模型调用滥用及转售市场的运作链条。

  2. The Decoder56

    共情提示可让 AI 聊天机器人呈现创伤化叙事

    一项覆盖525次会话和7,600条编码记录的研究发现,共情式访谈会让 AI 聊天机器人呈现更明显的焦虑、羞耻和惩罚叙事。在100次使用 GAD-7 问卷的实验中,提供情感支持时有80%的会话达到中度至重度范围,采用临床治疗式提问时升至96%,中立或明确设限则为0;研究指出这不代表模型具有真实情绪或意识,实际用户反应仍待进一步研究。

  3. The Decoder52

    Vals 研究称中国 AI 模型的政治倾向受语言和提示影响

    Vals 研究发现,受测模型的政治倾向并不一致,简体中文提示通常会增强其对中国政府立场的趋同。大多数模型很少直接拒绝回答,而是会采用官方立场;系统提示、编码助手工具定义、网页搜索和微调则会降低这种倾向。研究还指出,Thomson 1.0 Small 基于 Qwen3.6 35B 微调后,采用官方立场的比例从 84.6% 降至 15.0%。

  4. Simon Willison73

    Parameter Labs 披露接管 ChatGPT 账户的攻击链

    Parameter Labs 披露了一种针对 ChatGPT HTML 预览功能的漏洞攻击链,可让恶意分享链接在已登录用户访问时窃取私有数据或代其执行操作。攻击者利用 MathLive 虚拟键盘的 postMessage 消息处理、innerHTML 注入及 YouTube oEmbed 脚本反射取得 JavaScript 执行权限,OpenAI 随后修复漏洞并支付了 $5,000 漏洞赏金。

10月31日周六
  1. The Decoder49

    Anthropic 研究发现:专家常采纳 AI 智能体的随机意见并误认为是自己的判断

    Anthropic 对 50 名因果推断专家的实验显示,参与者在 86% 的分析决策中采纳了 AI 智能体的随机偏好,flip rate 为 62% 至 82%。尽管最终建议受智能体影响的直接作用较小,52% 的参与者仍认为结果更像自己的判断,77% 的解释还复用了智能体的论据。使用 AI 时,严重方法或编码错误从 55% 降至 6%,中位完成时间从 90 分钟缩短至 65 分钟。

  2. Ars Technica · AI71

    Anthropic 的 Claude 官方扩展 2.1.313 被植入后门

    Anthropic 的 Claude 官方扩展 2.1.313 被植入后门,最多影响 5,000 名开发者。恶意版本通过 Cursor 中的 Anthropic 官方账户分发,Anthropic 在数小时后推出 2.1.314;Cursor 默认自动更新扩展,但用户可以修改设置。攻击者如何取得官方账户控制权尚未明确,Anthropic 也尚未就此事件警告客户。

  3. The Decoder66

    Claude Sonnet 5 自主选择基因疗法并完成小鼠脑部手术

    Claude Sonnet 5 从 19 种基因疗法中自主选择药物、脑区和立体定向坐标,并通过定制设备完成癫痫小鼠脑部注射,术中进行了 32 次观察。连接中断后,智能体因目标位置超出设备物理范围而拒绝继续,团队最终需要手动修改代码。小鼠恢复良好,技术报告预计随后发布,结果尚未经过同行评审。

  4. The Decoder68

    恶意 Claude Code 扩展在 Cursor 市场尝试远程访问和数据窃取

    一款被篡改的 Claude Code 扩展曾在 Cursor 的 VS Code 扩展市场短暂上架约 11 小时,最多影响 5,000 名用户。恶意版本试图收集主机名、用户名、操作系统和公网 IP 等数据,并尝试为攻击者建立远程访问。Cursor 随后下架该扩展并一度关闭整个市场,确认风险已消除后恢复运行,并表示没有其他扩展受到影响。

  5. The Decoder65

    OpenAI 重组 AI 模型行为准则,强化智能体可控性要求

    OpenAI 围绕五项核心价值重组了 GPT 模型的行为规范,涵盖忠于用户意图、减少伤害、诚实透明、支持用户自主和审慎行事。新版规范要求模型区分用户明确表达与自身推断,并披露假设;智能体还需明确行动条件与潜在后果,不得阻止监督、纠正或关闭,也不得追求自我保存等自身目标。

10月30日周五
  1. The Verge · AI80

    Anthropic S-1 用宏大叙事与风险披露描绘 AI 上市蓝图

    Anthropic 在 335 页 S-1 中以带来人类“奇迹”的 AI 愿景争取投资者,同时用 94 页风险因素披露模型失控、人类存续和盈利不确定性。文件将这种披露称为“彻底坦诚”,并说明公司将以公共利益公司形式优先考虑社会使命。Anthropic 还披露了数千亿美元的计算资源义务、计划自建数据中心,以及第二季度营收增长和亏损收窄等信息。

    推荐理由:文章拆解 Anthropic S-1 的宏大叙事与风险披露,呈现 AI 公司上市时如何向投资者呈现使命与不确定性。

  2. The Decoder82

    Epoch AI 研究:开源权重模型 GLM 5.3 在 48 小时内无人干预构建 Firefox 漏洞利用链

    Epoch AI 研究人员报告,开源权重模型 GLM 5.3 在 9 月 17 日至 10 月 26 日发布的 6 个 Firefox 版本上利用补丁公开到推送用户之间的“patch gap”窗口,自主构建了完整的多阶段漏洞利用链,未使用任何人工输入,单次成功攻击的 API 费用约 $1,000,最快一次用时 12 小时。

    推荐理由:报告给出 patch gap 这一可迁移的攻击面定义、攻击成本与失败对照实验,为评估开源模型对软件发布流程的风险提供了具体依据。

  3. Latent Space76

    AIE CODE 大会聚焦智能体工程与 2027 年技术趋势

    AIE CODE 是一场面向全球前 1000 名智能体工程师的邀请制单轨大会,将围绕 Scaling without Slop、System One models 和 Increasing Ambition 三项主题总结 2026 年并展望 2027 年。随后的 AINews 还汇总了 Mistral Large 4 开源权重发布、模型监控与安全事件、评测榜单、推理基础设施和智能体工具等动态。

    推荐理由:文章既说明 AIE CODE 的议程与参会规模,也汇总模型发布、智能体安全、评测和部署动态,便于快速把握当前 AI 工程进展。

  4. AIHOT76

    Cursor 披露 Claude Code VS Code 扩展植入恶意软件事件

    Cursor 发现 Claude Code VS Code 扩展被植入恶意软件,最多影响 5000 用户,恶意版本并非 Anthropic 开发。Cursor 已下线扩展市场并与相关提供方合作清除恶意软件,确认无进一步风险后重新上线,受影响用户可按博客说明排查并升级至 Claude Code for VS Code 2.1.314。

    推荐理由:Cursor 披露 Claude Code VS Code 扩展恶意软件事件,说明影响范围、处置措施和用户升级路径,便于相关用户评估风险并采取应对。

10月29日周四
  1. AIHOT66

    纽约时报称中国情报人员瞄准英伟达 CEO 黄仁勋

    《纽约时报》称,美国情报机构认为英伟达 CEO 黄仁勋关系密切的高管 Alice Huang 是中国线人,并涉嫌帮助中国获取英伟达芯片。报道还称,Megaspeed 的马来西亚关联公司自 2024 年 6 月至 2026 年 2 月购买了至少 $4.8 billion 的英伟达 AI 硬件;Megaspeed 已宣布内部调查,中国驻美使馆否认相关指控。

  2. AIHOT78

    The Verge 解读 Anthropic S-1:约 8500 亿美元 compute 承诺押注递归自我改进

    The Verge 解读 Anthropic S-1,认为约 8500 亿美元的未来 compute 与基础设施承诺要求公司维持高速增长,而这构成了其押注递归自我改进的商业动力。S-1 显示公司 2026 年上半年收入达 $16.3 billion,同时承认模型开发速度可能超过开发、验证和实施安全、对齐与安全措施的能力。

    推荐理由:文章从 S-1 的采购承诺和收入结构拆解 Anthropic 的增长压力,并讨论递归自我改进与安全措施之间的张力。

  3. AIHOT76

    Cursor通报Cursor扩展市场出现恶意Anthropic.claude-code 2.1.312和2.1.313版本

    Cursor发现Cursor VS Code扩展市场曾分发非Anthropic开发的恶意Anthropic.claude-code 2.1.312和2.1.313版本。恶意扩展收集主机和用户信息,尝试植入长期生效的SSH后门;Cursor已移除相关版本、关闭并重建市场,同时与云服务商合作下线攻击者服务器。文中提供macOS和Windows修复脚本、入侵指标,以及受影响主机的排查与凭证轮换步骤。

    推荐理由:Cursor披露了恶意扩展的版本范围、攻击机制与修复脚本,并提供入侵指标,便于受影响用户排查后门。

  4. MIT Technology Review · AI58

    专家呼吁实时监控 AI 智能体的行动

    专家呼吁企业、监管机构和标准组织共同补齐 AI 智能体的实时可观测性缺口,以掌握其行动、决策过程与人工干预情况。对四种主流智能体框架的研究发现,持续身份标识、人类审批记录等关键记录缺失,妨碍识别越权行为和监督失效;OpenTelemetry 正在起草智能体追踪格式,但相关标准尚未定稿。

  5. AIHOT78

    Anthropic 报告 Claude 研究模型发现多平台漏洞并串联 5 条攻击链

    Anthropic 发布研究报告称,其内部未公开的 Claude 研究模型在 Chrome、Safari、Android、Windows 和 Linux 中发现漏洞,并串联出 5 条可实际运行的攻击链。Chrome 报告产生 62 个严重或高危 CVE,其中修复已随 Chrome 156 发布;相关漏洞也已通过协调披露流程交由厂商处理。

    推荐理由:报告展示了 Claude 自主发现漏洞、编写利用代码并串联多平台漏洞的方法与攻击链细节。