跳到正文
AIHOT ↗· OpenAI:Alignment 研究博客(RSS)·· 17 天前AI 评分69

OpenAI 训练并部署激活分类器监控前沿模型安全

OpenAI 训练并部署激活分类器作为前沿模型安全监控层

AI 导读

OpenAI 介绍了从 GPT-5.6 开始部署的激活分类器,这些轻量级模型利用 LLM 内部激活分类模型输出是否存在失配或不当行为。该方法可在生成过程中流式判断并阻断违规回复及工具调用,还支持越狱检测、模型检查点迁移和规模化评估。文章同时说明了探针对标注数据、基础模型权重变化和前置文本的依赖。

来源:AIHOT · alignment.openai.com