跳到正文

OpenHands把Agent后训练接回现有执行框架:已有产品先复用训练环境,不再重写一套RL框架

跨境

Agent后训练不是新出现的通用模型训练业务,而是已有Agent产品从提示词工程进入任务级强化学习时的一个适配环节。开发者已经给模型接好系统提示、工具、skills和执行预算后,OpenHands与Snowflake近期给出的组合可以把强化学习训练直接接回这套执行框架,不必先在另一套RL框架里重写Agent循环。

这里的机制并不复杂。OpenHands Agent harness负责规定Agent怎样工作:使用什么提示词、可以调用哪些工具、有哪些skills、每轮最多执行多少步。任务通过Harbor格式组织,其中指令、隔离环境、测试脚本和奖励规则可以放在同一任务目录中。训练时,每次rollout都直接运行现有Agent;代理与模型之间的记录层捕获模型实际生成的token,测试脚本的分数则成为奖励信号。Snowflake Cortex Training承担隔离沙箱和GPU计算,让开发者无需自行采购和管理GPU集群。

这改变的是模型适配现有Agent的工程成本,而不是模型本身的训练目标。一个团队过去若在OpenHands里调好了代码浏览工具、终端操作和轮次限制,转去另一套RL框架训练,就需要重新实现相近的Agent循环、工具格式和任务结构,可能产生训练与生产行为不一致的问题。新方案把执行配置直接作为训练条件复用,减少了维护两套实现的负担。

公开实验提供了有限的可行性信号。OpenHands团队为代码定位任务配置了定制提示词、终端工具、定位结果提交工具和10轮执行上限,以SWE-smith数据集里真实Python仓库的GitHub issue为任务,用文件、模块和函数三个层面的F1计算奖励。他们训练Qwen3.5-4B共25步、每步64次rollout,奖励曲线随训练推进而改善,整个流程在数小时内完成;作者称,其结果与专门搭建的RL实现可比。不过,这是OpenHands自己的单个实验,没有证明客户任务都能获得同样提升。

对已有Agent产品的个人开发者和小团队,正确的行动不是先对外宣称提供通用后训练服务,而是先判断现有系统是否具备进入后训练的三个条件。第一,线上已经有足够多的同类任务日志;第二,任务结果能够由测试、规则或人工标注稳定判断;第三,失败成本高到值得减少工具误用、步骤数或人工改判。如果任务结果只能靠“感觉不错”评估,直接做强化学习奖励并不成立,先建设评测集更重要。

一个可执行的内部试点可以分为三步。先固定同一组真实任务,使用现有Agent配置测量基础表现,并按错误类型区分工具误用、无效步骤、上下文遗漏和结果错误;再把能够程序化检查的子集整理成Harbor任务,明确沙箱、测试和奖励;最后只对其中价值明确的一组任务做小规模后训练,并在未参与训练的保留集上比较成功率、步骤数、token成本和人工改判率。这样可以直接判断复用现有harness是否真的减少了工程与运行成本。

这项方案也不是零成本。Snowflake官方文档显示,Cortex Training仍处于预览阶段,按实际分配的GPU时间以AI Credits计费;OpenHands的公开方案默认每个训练作业使用4张H200,训练与采样在Snowflake侧运行,本地主要承担rollout和数据准备。训练时暂不支持OpenHands的file_editor工具,Agent需要通过终端编辑文件,每次rollout也要使用隔离沙箱。因此,减少的是框架重建,不是任务设计、奖励治理、数据清理和训练运维。

现有供给也说明这件事已经进入专业服务市场,而不是空白。Toloka已经公开提供窄任务Agent后训练服务,交付范围包括专家修正数据、RL Gym环境、保留集评测和后训练模型;其公开的生产案例是简历解析,并非在OpenHands上做的RL后训练,因此只能证明相邻需求存在,不能证明本文所述服务已有采购。团队应先比较现有工具能否完成自己的评测与奖励闭环,再决定自建还是采购。

因此,本次变化对经营者的价值是一个更清楚的决策顺序:已有Agent产品且任务结果可自动验收的团队,可以在原框架里做一次封闭后训练试验;已有丰富日志但奖励尚不清楚的团队,可以先在客户项目里验证评测集与失败样本分析是否值得付费;没有真实任务、无法定义成功标准或没有训练运维能力的团队,不宜因新工具而购买GPU或承接客户后训练项目。公开材料尚未证明第三方OpenHands后训练服务已有规模化付费,最早的商业验证应来自一个可复现、能明确比较前后表现的客户试点。