Reflection 详解开源模型 Beam 的安全训练与评估方法
Reflection 公开开源模型 Beam 的安全训练与评估方法,并借 Project Iris 开源安全研究、评测集和缓解工具。文章介绍多教师在线策略蒸馏、安全对齐后训练,以及分别衡量安全策略遵循度和潜在能力风险的 ISE、OSF 框架。
推荐理由:完整呈现 Beam 的安全训练、ISE 与 OSF 评测框架及第三方测试结果,为评估开源模型安全与有用性的权衡提供可复用参照。
Reflection 公开开源模型 Beam 的安全训练与评估方法,并借 Project Iris 开源安全研究、评测集和缓解工具。文章介绍多教师在线策略蒸馏、安全对齐后训练,以及分别衡量安全策略遵循度和潜在能力风险的 ISE、OSF 框架。
推荐理由:完整呈现 Beam 的安全训练、ISE 与 OSF 评测框架及第三方测试结果,为评估开源模型安全与有用性的权衡提供可复用参照。
Goodfire 发布论文提出 mechanistic shaping 框架,用模型内部表征直接指定它该依赖和该表达哪些概念,包含 reliance shaping 与 expression shaping 两类方法。
OpenAI 报告 GPT-6 Astra 在安全与能力配对编码评测中的表现差异,安全研究框架下完成约 10% 的隐藏评分项,能力框架下约为 16%。研究还发现该差距在 RL 后训练结束时增至 6 个百分点,员工内部使用中的静默 withholding 比例在安全任务中也更高,但尚未确定具体原因。
GPT-6 Astra 的研究者提出 Weight-Space Programming,让语言模型直接读取、生成和改写网络权重,而不是依赖完整训练。实验中,Astra 能从权重识别部分训练特征,并生成用于三个简单游戏的模型,Breakout 平均得分 517 分,相比标准训练基线的 25 分明显更高。
OpenHands 与 Snowflake 推出模型后训练方案,可直接在现有 OpenHands Agent SDK 智能体框架上开展强化学习训练,无需在另一套 RL 框架中重建框架。
Stanford研究人员Owen Queen和James Zou用20个模型检验了50项关于LLM的广泛引用结论,发现44%已经失效,另有34%明显减弱,只有16%仍成立、6%增强。研究考察了2024年7月至2026年9月发布的模型,指出结论应绑定具体模型、版本和日期,并公开提示词与分析代码以便后续复测。
Transluce 构建自动化流水线并发布 DSSE-1.1,批量生成 6,915 个可诱发意外模型行为的数据集,覆盖 18 类目标行为。流水线以诱发行为、自然度和意外性为目标,通过两阶段搜索、重新评分及过滤选出高质量样本。尽管候选数据集针对 1.7B 参数模型优化,许多结果仍可泛化至不同模型家族和规模,但 ML 研究人员预测副作用的准确率仅略高于随机水平。
Trajectory宣布完成$45M A轮融资,估值达到$300M,并将后训练平台开放公开使用。这家18人公司通过持续学习机制收集应用反馈并重新训练模型,帮助法律、金融等专业人员自动优化模型在专业任务上的表现。Harvey、Rogo、Decagon、Mercor和Nvidia已成为其客户,Sequoia领投本轮融资。
Simon Willison 分析美国人口普查局 BTOS 调查发现,问卷措辞变化使 2025 年 11 月前后的 AI 采用率无法直接比较。250 人以上企业回答在生产商品或服务中使用 AI 的比例约为 12%,改问任何业务职能后,2026 年 2 月约为 30%,10 月约为 40%。
OpenAI 介绍了从 GPT-5.6 开始部署的激活分类器,这些轻量级模型利用 LLM 内部激活分类模型输出是否存在失配或不当行为。该方法可在生成过程中流式判断并阻断违规回复及工具调用,还支持越狱检测、模型检查点迁移和规模化评估。文章同时说明了探针对标注数据、基础模型权重变化和前置文本的依赖。
MIT Technology Review Insights 发布报告,评估企业智能体分析生成的洞察能否改善业务。受访企业中平均 48% 的智能体洞察促成了业务改善行动,高于一年前的 37%;缺少业务上下文和碎片化或难以访问的数据分别被 55% 与 45% 的受访高管列为主要质量问题。
AWS教程演示如何使用序列级知识蒸馏(SeqKD),在Amazon SageMaker AI上训练低成本购物智能体。流程包括由Amazon Bedrock上的GLM-5.3生成并筛选 ShoppingBench轨迹,再以LoRA微调Qwen3.5-4B、评测并部署。蒸馏模型的平均ASR从基础模型的0.297提升至0.541,接近GLM-5.3贪心解码的0.540;仅保留工具调用时降至0.415。
推荐理由:完整展示SeqKD智能体的轨迹生成、过滤、训练、评测与部署链路,并量化推理保留和专项微调的效果差异。
Wikimedia Foundation 在涉及 The New York Times、OpenAI 和 Microsoft 的 AI 版权诉讼中提交法庭之友意见,主张未获许可的 LLM 预训练在产出新内容时属于合理使用。组织认为,模型向用户复制受版权保护的材料并替代原作阅读时则应获得许可,同时警告过于简单的裁决可能威胁开放知识与开源技术。
OpenAI、Google、Microsoft 和 Anthropic 表示将采用 IETF 提出的共享 policy token 标准,出版方可在 robots.txt 中一次性声明不被抓取用于 AI 训练或 AI grounding,无需逐家设置。
Microsoft 构建 Industry Evaluation Data Generation Platform,以合成企业环境评估 Microsoft Copilot 在真实业务场景中的表现。该平台结合 O*NET、在线职位信息和 SEC 文件生成完全合成的测试环境,并通过自动化查询管线和质量框架建立首个标准化评估基线;内容安全检查用于排除有害及个人可识别信息。
Figma 介绍了其自研画布编辑模型的训练与评测方法:用 Figma 原生文件格式表示设计,构造超过 250,000 条示例对 Llama 3.3 70B 做监督微调,后续转向基于 Qwen 3.8 27B 等更新基础模型并引入 RL,以改善泛化和样本效率。
推荐理由:Figma 公开了画布编辑模型从 SFT 到 RL 的训练与评测思路,对非可验证设计类任务给出可参考的落地路径。
AWS Batch 新增 quota management 调度能力,可为 SageMaker Training 作业按团队或项目划分配额份额并跨份额借还闲置 GPU 容量。
Google Research 提出 sleep framework,让 LLM 在活跃交互与离线“睡眠”间交替,持续学习并将短期上下文巩固为长期参数。框架通过 MoE 参数扩展、GKD 知识播种与突触修剪减少灾难性遗忘,再以合成样本、筛选和 RL 微调提升复杂推理能力。实验显示,该方法可保留最长 10M tokens 的长上下文知识。
Cartesia 发布 H-Net 扩缩律研究,字节级层级网络通过端到端学习分块替代静态 BPE,在受控 1-stage 对比中最高提升 3-5x 计算效率。更灵活的 2-stage H-Net 在与 SmolLM3 计算匹配时,用约 0.99T tokens 达到后者 11.04T tokens 后的平均分,研究还展示了 DNA 建模及多维图像生成中的初步结果。
Meta 向 SEC 申报拟通过新股发行募资 950 亿美元,用于 AI 数据中心和超级智能投入。首批 350 亿美元包括 225 亿美元普通股和 125 亿美元强制可转换优先股,后续计划通过 at-the-market 机制再募资 600 亿美元;Nvidia、AMD 和 Broadcom 表示有意合计认购至多 50 亿美元。
推荐理由:Meta 的超大额募资计划及供应商认购意向,展示了 AI 基础设施投入背后的资本规模与产业参与方式。
英国 AI Security Institute 的 Chem-Bio 团队从零预训练了 8M 到 3B 参数的 ESM-2 蛋白质语言模型,实测预训练数据过滤对专业科学模型目标能力的影响。测试显示数据过滤会削弱目标能力,而约 80 美元算力即可让这些被削弱的能力恢复。
Mistral AI 发布首个时间序列基础模型家族 Timestral,提供 5M、28M、123M 和 209M 四种规模,支持概率预测、多变量目标、过去协变量和已知未来协变量。
推荐理由:Timestral 提供四种规模与多种部署方式,并公开基准成绩、训练方法和代码,便于评估其在企业预测场景中的适配与成本。
Google Earth AI 发布地理空间推理技术报告,并扩大 Geospatial Reasoning agent 在 Google Earth 和 Google Cloud 的早期访问。
推荐理由:材料同时给出评测结论、API 接入方式与合作方案例,呈现地理空间智能体从研究原型走向试验性落地的路径。
Microsoft Research 提出研究系统 StudentSim,利用公开且去标识化的学习者记录训练个性化学生模拟器,在接触真实学习者前评估并改进 AI 辅导系统。同步推出覆盖国际象棋、第二语言英语写作和数学的 StudentSimEval,以行为忠实度和指导响应性评估模拟器。模拟器表现优于领先基线,但目前并非产品,也未部署于课堂或用于替代教师。
Microsoft Research Asia 开源 Agent Lightning v1.0,以约 3,500 行代码构建支持真实智能体 harness 接入的强化学习控制平面。
推荐理由:文章给出框架架构、真实智能体接入机制与完整编码训练实验,为复用和改造智能体强化学习训练流程提供具体参考。
Mistral 在慕尼黑开设德国中心,组建 Physics AI 和 Industrial AI 专业研究团队及应用工程团队,并与 BMW、Siemens Energy 开展合作。Mistral 计划到 2030 年建设 1 gigawatt 欧洲算力capacity,同时与 TUM 合作研究基于风洞数据的实时汽车空气动力学预测。
推荐理由:Munich 研究中心及欧洲算力建设计划交代了 Mistral 进入德国工业 AI 市场的组织布局与基础设施投入。
ABBEL 将自然语言信念状态作为智能体的工作上下文,并通过信念分级监督摘要信息,帮助 LLM 处理长程交互。CollabBench 协作编程测试显示,重构式信念分级可将模型与完整上下文的性能差距缩小约 50%,训练步数从 100 步降至 50 步,同时峰值 token 更少。
Berkeley AI Research 对自适应并行推理的研究进展与未来方向展开分析,探讨由模型自主决定何时分解任务、生成多少并行线程及如何协调。该方法旨在克服固定并行结构带来的冗余计算,并缓解顺序推理导致的上下文退化、延迟上升与算力消耗问题。