OpenAI发布CoT可监控性研究结果
热点事件历史事件
OpenAI发布CoT可监控性研究结果
1 篇报道1 个报道来源9 天前更新
先了解这件事
AI 综述
OpenAI发布研究称,模型在强化学习阶段即使没有额外的过程监督,仅依靠长度约束和最终答案评分,也能显著提高CoT可控性;较低的基座模型困惑度则与更强的无CoT能力相关。研究还发现,CoT可控性可通过模型生成数据在监督微调中传递,而完整工具过程监督的早期效果相较降低困惑度较小。 OpenAI同时强调,CoT可控性仍是带有噪声且不完善的监控规避代理指标。相关模型仅使用Astra强化学习数据混合的一部分,实验也未完全分离困惑度与过程监督的影响。
AI 根据报道生成 · 9 天前更新
最新进展11月10日 16:00
OpenAI 研究模型生命周期中影响 CoT 可监控性的因素报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- AIHOTOpenAI 研究模型生命周期中影响 CoT 可监控性的因素
OpenAI 研究了预训练、模型架构、强化学习和模型生成数据对 CoT 可监控性的影响。研究发现,较低的基座模型困惑度与更强的无 CoT 能力相关,强化学习会提高 CoT 可控性,且这种特性可通过模型生成数据在 SFT 中传递;CoT 可控性仍是存在噪声且不完善的监控规避代理指标。