Reflection发布Beam安全研究与评估成果
热点事件历史事件
Reflection发布Beam安全研究与评估成果
1 篇报道1 个报道来源14 天前更新
先了解这件事
AI 综述
Reflection公开了开源模型Beam的安全训练与评估方法,并宣布通过Project Iris开源安全研究、Iris Safety Evaluations评测集、Open Safety Framework及缓解工具,供研究者、开发者和企业免费使用和继续构建。 Beam训练采用多教师在线策略蒸馏和安全对齐后训练;评估分别用ISE衡量安全策略遵循度、OSF衡量潜在能力风险。Mirror测试中固定攻击未出现成功案例,但该结果仅适用于所测攻击,不能证明模型能抵御会随模型或策略调整载荷的攻击者。由于Beam是开放权重模型,发布后的拒绝机制可能被修改或移除。
AI 根据报道生成 · 14 天前更新
最新进展11月6日 01:00
Reflection 详解开源模型 Beam 的安全训练与评估方法报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- AIHOT精选Reflection 详解开源模型 Beam 的安全训练与评估方法
Reflection 公开开源模型 Beam 的安全训练与评估方法,并借 Project Iris 开源安全研究、评测集和缓解工具。文章介绍多教师在线策略蒸馏、安全对齐后训练,以及分别衡量安全策略遵循度和潜在能力风险的 ISE、OSF 框架。