OpenAI 用自动化红队训练提升 GPT-6 Astra 和 Sol 的高风险领域模糊鲁棒性
OpenAI 用自动化红队训练提升 GPT-6 Astra 和 Sol 在高风险领域的模糊鲁棒性
AI 导读
OpenAI 介绍如何利用自动化红队生成合成越狱提示,并通过强化学习训练 GPT-6 Astra 和 Sol 提升其在网络、生物及暴力活动领域的模糊鲁棒性。在固定越狱数据集的网络安全评测中,GPT-6 Astra 的安全回答率为 91.5%,GPT-5.6 Sol 为 59%。鲁棒化提示训练还改善了模型对固定和自适应攻击的抵抗能力,GPT-6 Astra 也未因安全训练而增加对正常请求的拒绝。
来源:AIHOT · alignment.openai.com