Reflection 详解开源模型 Beam 的安全训练与评估方法
AI 导读
Reflection 公开开源模型 Beam 的安全训练与评估方法,并借 Project Iris 开源安全研究、评测集和缓解工具。文章介绍多教师在线策略蒸馏、安全对齐后训练,以及分别衡量安全策略遵循度和潜在能力风险的 ISE、OSF 框架。
推荐理由
完整呈现 Beam 的安全训练、ISE 与 OSF 评测框架及第三方测试结果,为评估开源模型安全与有用性的权衡提供可复用参照。
来源:AIHOT · reflection.ai