Harness Adapter 发布:用 RL 让模型适配你的 Agent Harness,提升性能与效率
把 RL 用在你自己的任务分布上,配合常用的 agent harness 训练,可以得到在该 harness 和任务分布上更准确、更高效的模型。
模型并没有针对所有 harness 和你实际要做的任务做充分优化,它们追求的是通用性能。所以当你把模型和 harness 组合起来用时,在你真正关心的场景上,性能和效率其实还有很大提升空间。通过 RL,你可以训练一个定制的 harness adapter,把模型在你的 harness 和任务组合上的潜力全部榨出来。
以 Qwen3.8-27B 为例,它在 pi harness 下的 Terminal-Bench 2.1 得分是 39%,平均每个任务消耗 2.9K tokens。如果冻结原有权重,再加一个 RL 训练的 LoRA adapter,pass@1 可以提升到 55%,平均 token 用量降到 1.5K。这主要归功于模型的推理过程更简短、工具调用更少、一次成功的概率更高。
我们之前的工作(multi-harness RL、harness adapters)已经表明,在自己的 harness 里对自己的任务分布做 RL,能得到更准确、更高效的模型。当时的实验涵盖数据分析和代码构建任务。这次我们想进一步验证:这个结论在 27B 规模、更难的真实软件工程任务上是否依然成立——我们在 Pi、OpenCode 和 Hermes Agent 三个 harness 上做了实验。最重要的是,我们分享了一套完全可复用的方案,你可以在自己的任务、harness 和模型组合上复现。
TL;DR
- 我们为 Qwen3.8-27B 针对每个 agent harness(pi、Hermes Agent、OpenCode)分别训练了一个 LoRA adapter,训练直接在 harness 内部用 RL 完成。
- 数据集、训练和 agent rollout 全部通过 Hub 上的 Jobs 进行,使用 TRL 的
AsyncGRPOTrainer、OpenEnv 和 harbor。 - 每个 harness adapter 在各自的 harness 下,两个基准的成绩和效率都超过了基座模型。
- 我们还把三个 LoRA 合并成一个 super adapter,无需任何修改即可在 pi、Hermes Agent 和 OpenCode 上运行。
- 所有产物(adapter、GGUF、RL 任务、safeagents 插件)都可以在这个 Hugging Face collection 里浏览。
Table of Contents
- 在 agent harness 内训练
- 在 Hugging Face 上生成自定义 RL 任务
- 用短程训练测试过滤器
- 用
AsyncGRPOTrainer更高效地进行 GRPO 训练 - 训练配置
- Super-adapter:把所有 adapter 合并成一个
- 最终结果
- 开放问题:模型到底学会了什么?
- 结语与未来方向
在 agent harness 内训练
我们借助 OpenEnv 中的 Harbor 集成和 TRL 的 OpenEnv 指南,在最终训练所选的 harness 内对模型进行训练。我们为所有 RL 任务构建了开箱即用的 Docker 镜像,目标 harness 已预先安装其中。最终镜像使用的版本为 Pi 1.5.2、OpenCode 2.2.7 和 Hermes Agent v0.22.6。前述博文中的这张示意图很好地说明了整个流程:
大多数 RL 框架训练的是 agent loop 的重新实现:agent 要按照框架自己的接口来编写,比如 verl 的 AgentLoop、SkyRL-Gym 的环境、rLLM 的 agent 和环境类、slime 的自定义 rollout 函数,或者 ART 嵌入你自己 Python agent 中的客户端。而在我们的方案里,harness 按发布时的原样运行,trainer 直接从 harness 实际产生的 token 中学习——这些 token 由部署在 harness 和 vLLM 之间的 proxy 记录。最近的一些工作也朝着同一方向发展:Agent Lightning v1.0 通过 proxy 把部署时的 harness 保留在训练回路中("harnessed agentic RL"),SkyRL 的 Harbor 集成则在 Harbor trial 上训练,将其 chat 历史转换为 token 提供给 trainer。
在 Hugging Face 上生成自定义 RL 任务
在本配方中,我们结合 Hub、OpenEnv 和 Repo2RLEnv,为 agentic coding 创建了一个自定义数据集。我们把已有 RL 环境的任务检索、用 Repo2RLEnv 生成任务、用 OpenEnv 验证任务,以及采样整合成了一条统一的数据管线。由此我们得到了质量最高、且经验证相关的任务集,用于提升 Qwen3.8-27B 在 agentic coding 上的表现。本节将介绍我们的构建过程,方便你在自己的领域上复现。
RL 训练需要三样东西:agent 可以尝试的任务、给每次尝试打分的 verifier,以及证明 verifier 正确的证据。接受错误答案的 verifier 会教坏模型;而模型本来就能完成的任务则教不了它任何东西。
本节介绍我们如何从三个来源构建任务集:两个来自 Hugging Face Hub,第三个由 Repo2RLEnv 中的 Tasksmith 管线生成。每个任务都要通过 openenv validate 的资格筛选,以及针对基础模型 Qwen3.8-27B 的同一套难度检查。
三个数据来源
所有任务都采用 Terminal-Bench 2.1 同样使用的 Harbor 格式。我们在 Hub 上广泛搜索 Harbor 环境时找到约 5.9 万个任务,其中混杂着重复项、评估集和标记为不可用于训练的任务。我们最终筛选出两个专为训练构建的 Hub 来源,并自行生成了第三组:
- SWE-smith(Python、Go):向真实的 Python 和 Go 仓库中注入 bug,方式包括 LLM 改写或翻转运算符之类的变异操作,捕获 bug 的测试就作为任务的测试。它提供了数量规模。
- SWE-Gym:在 TaskTrove 中打包为 Harbor 任务,将真实的 GitHub issue 及其合并的修复方案转化为任务。它提供了真实世界的 bug。
- Tasksmith:从已合并的 pull request 生成任务。一个 LLM agent 负责编写指令和测试,Tasksmith 则检查结果:参考实现和有效的替代方案必须通过测试,未修复的代码和已知错误的解法必须无法通过。
我们用 Tasksmith 来补齐空白。先梳理目标基准(Terminal-Bench 2.1、SWE-bench Pro 的 hard 子集以及 DeepSWE)所考察的技能,再挑选能覆盖这些技能的 pull request,例如 HTTP streaming、文件系统操作和序列化。从 30 个已合并的 pull request 中,Tasksmith 在 10 个 Python 仓库里生成了 24 个通过检查的任务,其中 17 个在复跑时也保持通过。它的检查并不能替代我们自己的流程,所以这些任务仍要走与其他任务相同的流水线。
用 openenv validate 做验证
首先进行元数据筛选,只保留来自训练集、采用宽松许可的任务,同时剔除重复项、标记为不可用于训练的任务、目标基准中的 253 个任务,以及来自这些基准所用仓库的任何任务。随后,我们在全新的环境里对每个任务运行 openenv validate 的语义检查:
- 参考解法能拿到满分(
semantic.oracle_max)。 - 什么都不做得分明显更低(
semantic.floor_gap)。 - 没有 canary 的得分不会高于什么都不做(
semantic.canary_floor)。 - 重放参考解法能得到相同得分(
runtime.episode_determinism)。
每次验证都作为独立的 Hugging Face Job 运行,让我们可以同时验证数十个任务。任何 Harbor 任务都可以用 openenv validate 使用同样的方式:
openenv validate path/to/task --sandbox hf-sandbox
1,127 个 Hub 候选任务中有 858 个通过了验证。错误答案对照组确实抓出了一些缺陷,包括一个接受了不完整实现的 Tasksmith 任务,以及一个接受了已知错误答案的 Terminal-Bench 2.1 校验器(基于 regex 日志)。大部分失败是基础设施问题,比如镜像无法启动。未通过的任务会留在 rejected split 中,并记录失败的检查项。
用基础模型检验难度
任务通过了验证,也可能什么都教不了。GRPO(group relative policy optimization)是将同一任务的各次尝试相互比较来打分的,所以如果一个任务要么全过、要么全败,就产生不了学习信号。因此在训练之前,我们让 Qwen3.8-27B 对每个任务尝试 4 次,对每个仓库中分层抽样的 6 个任务尝试 8 次。
在 442 个已打分的任务中,Qwen3.8-27B 有 151 个每次都解出,120 个从未解出。剩下 171 个有时能解出的任务构成了合格集。下图展示了得分如何堆积在两端,以及不同来源之间的差异:模型每次都能解出大部分 Go 任务,对超过三分之一的 SWE-smith Python 任务全数失败,而在 73% 的 SWE-Gym 任务上处于中间地带。
Qwen3.8-27B 在 442 个已打分任务上的结果。绿色为合格任务,即模型有时能解出、但不是每次都能解出的任务。
这个例子展示了我们如何把 1,127 个任务筛选、验证后得到 278 个直接纳入最终数据集的任务。随后,流水线对其余 522 个被拒任务用 Tasksmith 进行修复和复杂化,并重新验证。
用短程训练测试过滤器效果
这条流水线包含两道过滤:验证环节剔除损坏的任务,难度检查则只保留基座模型有时能解出的任务。本节检验这些过滤是否会影响模型的学习效果。我们用流水线不同阶段的任务各训练了四次短程运行(最多 50 步),并在 Terminal-Bench 2.1 上与基座模型进行对比。
每次运行都用 LoRA 和 GRPO,通过 TRL 的 AsyncGRPOTrainer 在 32 个任务上训练 Qwen3.8-27B。四次运行使用相同的 agent harness(OpenCode,最多 48 次模型调用)、相同的配置和一个 8×H200 的 Hugging Face Job,奖励就是验证器的通过或失败。区别在于任务集的过滤方式:
- 未验证:24 个通过的任务加 8 个未通过验证的任务。
- 已验证:32 个通过验证的任务,不按难度筛选。
- 未限定:32 个通过验证的任务,基座模型要么总能解出、要么永远解不出。
- 已限定:32 个通过验证的任务,基座模型能解出其中一部分。
下图展示了这些任务对模型学习的影响。表格列出了每次运行的步数以及我们评估的 checkpoint。曲线则展示了训练奖励在不同验证状态的任务子集上的变化。
数据集
harness-hub/agentic-coding-envs 包含来自 35 个代码仓库的 871 个任务。Hub 上每个仓库的任务上限为 40 个,避免被单个项目主导。下表列出了各数据来源的贡献。数据集有两个视图:所有通过验证的任务,以及用于 GRPO 训练的合格子集。被拒绝的任务则放在单独的 config 中。
| 来源 | 任务类型 | 任务数 | 合格任务数 |
|---|---|---|---|
| SWE-smith | 在 Python 和 Go 中注入的 bug | 717 | 144 |
| SWE-Gym (TaskTrove) | 真实的 GitHub issue | 130 | 27 |
| Tasksmith | 从已合并的 pull request 生成 | 24 | 22 |
| 总计 | 871 | 171 |
用 AsyncGRPOTrainer 更高效地进行 GRPO 训练
我们使用了 TRL 中稳定版的 AsyncGRPOTrainer,它的主要优势在于不必等所有 rollout 完成就能进入下一步训练优化。
想深入了解这个训练器及其组件,请参阅 AsyncGRPO 博客文章。
训练设置
为了得到最终的 harness adapter,我们基于 Qwen/Qwen3.8-27B,用 TRL 的 AsyncGRPOTrainer 训练了 LoRA adapter。adapter 通过 all-linear 参数挂载到模型上。为最大化训练效率,rollout 阶段关闭了 thinking 模式;同时为了对比更全面,最终 adapter 分别在开启和关闭 thinking 的情况下做了评估。
最终的奖励函数由验证器的正确性得分加上一个很小的工具效率奖励(0.1)组成——这个值来自 上一轮 harness adapter 的早期实验,当时发现 0.1 效果最好。
我们用 Termgrade 环境做了小规模学习率扫描(1e-5、5e-5 和 1e-4),各跑 50 步。结果显示:1e-5 几乎没提升训练正确率(从 0.52 降到 0.50);1e-4 则导致 rollout 崩溃而非改善(每次 rollout 的轮数从 18 降到 6,熵值上升);只有 5e-5 有明显提升(第 40 步时从 0.49 升到 0.60)。但更长时间的 5e-5 训练出现了不稳定迹象(rollout 长度崩溃、熵值上升),因此最终运行我们选定了 2e-5。
训练基础设施
每个 harness adapter 都在 NVIDIA 2xB200 GPU 上训练:一块 GPU 跑 vLLM server,另一块跑训练进程。我们先做了一些压力测试,以便在单次优化步骤中尽可能多地训练 RL 任务。为此,我们把 AsyncGRPOTrainer 的 --token-budget 参数调到了当前配置下的极限。下图展示了每个 harness 每步 group 数量的变化(蓝色为 Pi,绿色为 OpenCode,橙色为 Hermes)。
随着训练推进,模型表现越来越好,每个训练步能拟合的分组也越来越多,从而让每次优化获得的信号更加多样化。
最终的数据配比
最终的数据配比由两部分组成:750 个来自 harness-adapters RL 环境的任务,以及 300 个来自 termgrade 的任务。为了最大化训练时采样任务的多样性,我们对数据采样策略做了少量定制,具体如下:
训练开始前,任务会按家族(即我们生成的 RL 环境对应的仓库;Termgrade 则直接按名称排序,因为每个任务本身就是一个家族)交错排列成固定顺序,这样在遵循配比分布的同时,每个训练步都能混合到尽可能多的仓库。
用 safeagents 把关
我们还接入了 safeagents 工具,用于在训练过程中拦截模型的不当行为。最终的插件(包含针对 RL 任务和测试路径的 regex 与 pattern 规则)托管在 harness-hub/qwen-safeagents-plugin,配合最新版 safeagents 即可开箱使用,方便大家复现训练设置。
训练过程中,safeagents 拦截的工具调用次数持续下降,说明模型在每次优化后都变得更"安全"。下图展示了各 harness adapter 在每个训练步中,每 1000 次工具调用里被 safeagents 拦截的次数。
Super-adapter:把所有 adapter 合而为一
模型合并通常能在保留各自大部分能力的同时,将它们的长处结合起来。三个 harness adapter 训练完成后,我们提出了两个问题:合并会不会损失精度?一个单一的"super-adapter"能否在每个 harness 下都做到既准确又高效?
我们先逐层对比了三个 adapter 的权重更新。任意两者之间的余弦相似度约为 0.01–0.02:也就是说,每个 adapter 在训练时把模型推向了几乎正交的方向。这对合并来说是理想情况,因为更新之间几乎互不干扰。
我们沿 rank 维度拼接三个 LoRA adapter(使用 PEFT 的 combination_type="cat")。合并后的 adapter rank 为 96(3 × 32),作用效果正好等于 w · (ΔW_pi + ΔW_hermes + ΔW_opencode)。以往的合并研究(task arithmetic、TIES、KnOTS)发现,把每个更新缩放到小于 1 效果最好,因此我们用 step-120 的 adapter,在每个 harness 下对所有 89 个 Terminal-Bench 2.1 任务比较了三种权重:
- ⅓(取平均):每个 harness 只保留自身更新的三分之一。
- ½:每个更新以一半强度生效。
- 1(直接求和):每个更新全部生效。
| 权重 | pi | hermes | opencode | 三个 harness 综合 | 每任务工具调用次数 |
|---|---|---|---|---|---|
| 基座模型 | 39.1% | 46.0% | 44.8% | 43.3% | 49.2 |
| ⅓(平均) | 49.4% | 51.2% | 47.1% | 49.2% | 35.6 |
| ½ | 48.8% | 53.5% | 55.2% | 52.5% | 25.9 |
| 1(求和) | 40.2% | 62.8% | 47.1% | 50.0% | 13.4 |
直接求和会把更新放大过头:agent 变得非常短促(每任务仅 13 次工具调用,而基座模型是 49 次),虽然 Hermes 冲到 62.8%,pi 却跌回了基座模型的水平。取平均则会稀释每个 harness 自身的更新。½ 的平衡效果最好,所以我们用已发布的 checkpoint(pi step 160、hermes step 160、opencode step 150)以 ½ 权重构建了最终的 super-adapter。
Adapter 合并评测结果
在每个 harness 下、所有参与评分的任务上(SWE-bench Pro 50–51 题,Terminal-Bench 2.1 82–85 题),每任务一次尝试(括号内为相对基座模型的效率提升):
| Harness | 基准测试 | Qwen3.8-27B | Qwen3.8-27B-<harness>-adapted | Qwen3.8-27B-super-adapter | Qwen3.8-27B(thinking 模式) | Qwen3.8-27B-super-adapter(thinking 模式) |
|---|---|---|---|---|---|---|
| pi | SWE-bench Pro (hard 51) | 40.0% | 64.0% (−60%) | 46.0% (−73%) | 74.0% | 74.0% (−48%) |
| hermes | SWE-bench Pro (hard 51) | 29.4% | 43.1% (−56%) | 47.1% (−60%) | 45.1% | 60.8% (−36%) |
| opencode | SWE-bench Pro (hard 51) | 35.3% | 51.0% (−72%) | 45.1% (−63%) | 47.1% | 66.7% (−31%) |
| pi | Terminal-Bench 2.1 | 40.0% | 56.5% (−56%) | 48.2% (−56%) | 52.9% | 57.6% (−25%) |
| hermes | Terminal-Bench 2.1 | 44.7% | 58.8% (−70%) | 55.3% (−53%) | 58.8% | 63.5% (−19%) |
| opencode | Terminal-Bench 2.1 | 47.6% | 52.4% (−53%) | 52.4% (−68%) | 54.9% | 58.5% (−22%) |
表中"thinking"指 chat template 默认推理强度(xhigh)下的 thinking 模式。专用适配器在训练和部署时均关闭了 thinking。
关闭 thinking 时,super-adapter 在全部六组 harness–基准测试组合上都优于基座模型(平均 pass@1 从 39.5% 提升到 49.0%;新解决 71 个任务,仅丢失 34 个,p < 0.001)。
尽管训练时从未开启 thinking,它仍是我们评估过的 thinking 模式下表现最强的模型。与同等推理强度的基座模型相比,它在六组组合中赢了五组、平了一组(平均 55.5% → 63.5%;新解决 67 个,丢失 37 个,p = 0.004)。提升最大的是 SWE-bench Pro:hermes 下 +16 分,opencode 下 +20 分。而在 pi 上的 SWE-bench Pro 中,由于仅靠 thinking 已达到 74%,两者打平。
关闭思考模式时,请使用各 harness 的专用 adapter。在六组对比中,每个 harness 的专属 adapter 都有四组领先,最大差距约在 pi 之下(SWE-bench Pro 上 64.0% vs 46.0%,Terminal-Bench 上 56.5% vs 48.2%)。把同一个模型拆分到三个 harness 上,对 pi 的收益损失最大。如果你只用一个 harness 且保持关闭思考模式,直接选它的专用 adapter 即可。
super adapter 的效率也高得多。在基础模型和 super adapter 都能解出的任务上(关闭思考模式),每个任务的工具调用减少 53–73%,生成 token 减少 44–60%,其中 130 个任务里有 111 个工具调用更少。开启思考模式时,在 SWE-bench Pro 上仍能减少 31–48% 的工具调用和 24–43% 的 token;在 Terminal-Bench 上,工具调用减少 19–25%,token 数量基本持平。
½ 权重是在 Terminal-Bench 2.1 上用 step-120 adapter 选定的,所以 Terminal-Bench 的数字略微乐观;SWE-bench Pro 完全没有参与这一选择。完整配对结果见 super adapter 的模型卡。
最终结果
本节先介绍训练过程中的情况,再说明各 adapter 在自身 harness 内外的保留基准测试上的表现。
训练结果
训练累计跑了 598 步,共训练了 78,114 个样本,恰好对应 1.67 亿个训练 token。
训练过程中有一个清晰的信号:模型学会用越来越少的步数解决任务,且没有明显饱和迹象。虽然正确率有时呈现上升趋势,但整体上似乎保持平稳。原因可能是训练中模型会不断遇到新任务,而随着轨迹变短,每步 token 预算能容纳的组数增加了一倍以上。正确率的提升体现在下面小节的保留基准测试中。
另一方面,safeagents 成功拦截了多次可疑操作。三次训练共检查了 130 万次工具调用,拦截了 647 次。
评估结果
本节涵盖评估设置、harness 内结果、跨 harness 迁移以及分布外检查。
评估设置
我们在每个 adapter 各自训练时使用的 harness 中进行评估,测试集是两个 agentic coding 基准:Terminal-Bench 2.1
每次 rollout 都走与训练相同的 Harbor 和 OpenEnv 流程,运行在 HF sandbox 中,每个任务只跑一次,temperature 为 0.8、关闭 thinking。每个 LoRA checkpoint 会合并进基础权重,用 vLLM 在单张 GPU 上独立部署,并发数与基础模型的评估保持一致。
所有评估基准中,我们都报告 pass@1,以及全部任务和已解决任务上的工具调用次数与总轮次。
为了保持透明,最终评估的全部模型轨迹都推到了这个公开 bucket:harness-hub/harness-adapters-trajectories。
最终评估结果
在两个基准上,三个专用 adapter 在各自 harness 下的表现都超过了基础模型。在 SWE-bench Pro(最难的 51 个任务)上,pi 从 39.2% 提升到 64.7%(+25.5 分:新解决 15 个任务、丢失 2 个,p = 0.002),hermes 从 29.4% 提升到 43.1%,opencode 从 35.3% 提升到 51.0%。在完整的 Terminal-Bench 2.1 上,pi 提升 +16.3 分(16 vs 2,p = 0.001),hermes 提升 +14.1(19 vs 7,p = 0.03)。opencode 总体提升 +6.0,而在未参与其 checkpoint 选择的 66 个任务上提升了 +13.6(12 vs 3,p = 0.035)。
这些 adapter 还能更高效地完成任务:在它们与基础模型都能解决的任务上,SWE-bench Pro 每个任务的工具调用减少 56–72%,Terminal-Bench 2.1 减少 53–70%。单个 super-adapter 在三种 harness 下也全面优于基础模型(SWE-bench Pro 提升 +6 到 +18 分,Terminal-Bench 2.1 提升 +5 到 +10 分),同时工具调用同样大幅减少(53–73%)。关闭思考模式时,它保留的各专项 adapter 收益较少,在 pi 下最少;但开启思考模式后,在六组 harness-基准组合中有五组超过了同等 effort 下的基础模型思考模式(见super-adapter 部分)。每个模型卡片都附有完整的成对对比结果。
效率与性能能否跨 harness 迁移?
为回答这个问题,我们还在 Hermes Agent 和 OpenCode 下评测了 pi harness adapter。
在 OpenCode 下,它在 Terminal-Bench 2.1 上与 OpenCode 自己的专项 adapter 相当(44.8% → 54.0%,对比 46.4% → 52.4%)。在 Hermes 下,它保留了专项 adapter 约三分之二的收益(46.3% → 56.1%,对比 44.7% → 58.8%),两者工具调用都减少了约 45%。可见新学到的能力似乎可以跨 harness 迁移。
在分布外任务和环境下的评测
如果在训练所用 harness 之外的分布外任务上评测,会怎样?
我们在 300 个 AutomationBench 任务上运行了全部五个模型。AutomationBench 是一套业务自动化工作流评测,我们使用它自带的 agent loop,而非 Pi、Hermes 或 OpenCode。这样可以同时验证两个问题:模型能否解决 SWE 之外的任务?模型脱离其训练所用 harness 时表现如何?
结果显示,各 adapter 与基础模型差距不大。Pi 和 OpenCode 略有领先(pass@1 分别为 27.0% 和 25.3%,基础模型为 23.0%),合并 adapter 持平(23.7%),Hermes 落后几个百分点(17.7%)。除 Hermes 外,差异基本在噪声范围内。因此在 harness 内做 RL,既没有明显迁移到这个截然不同的场景,也没有破坏模型在其中的表现。
| 模型 | pass@1(所有断言通过) | 对比基础模型 | 部分得分(断言通过比例) | 对比基础模型 |
|---|---|---|---|---|
| base | 23.0% | 62.2% | ||
| pi 160 | 27.0% | +4.0 | 66.2% | +4.0 |
| opencode 150 | 25.3% | +2.3 | 65.2% | +3.0 |
| merged | 23.7% | +0.7 | 60.6% | −1.6 |
| hermes 160 | 17.7% | −5.3 | 56.6% | −5.6 |
未解之谜:模型到底学到了什么?
感谢用户和社区的反馈。社区的初步测试结果整体非常积极,我们也希望未来能继续朝这个方向努力。同时我们也看到了一些令人意外的结果,比如有用户报告 harness adapter 在 Swift-1.5 等 Qwen3.8 衍生模型上表现也很好。
这是我们在发布之后一直在思考的一个开放性问题。仔细检查评测基准生成的轨迹后发现,在非思考模式下,模型往往会在发起 tool call 之前先生成一段简短文本,而 base 模型则几乎不加任何文字就直接调用工具。
这种现象可以看作某种「推理泄漏」:模型学会了通过生成一些看起来像推理痕迹的文字(比如“……等等?”“……让我看看”),从非思考版本「逃逸」到思考版本。最近一篇论文也对 LLM 在 RL 阶段的这种行为了做了很好的描述。
那么这会影响我们模型的有效性吗?我们认为不会,因为最终结果依然成立:在完全相同的条件(固定 token 预算)下,我们的 adapter 仍然大幅优于 base 非思考模型,且与思考版本的性能持平,同时 token 效率要高得多。社区的积极反馈也进一步证实了这一点。
不过,这也引出了后续工作的方向:我们计划将同样的流程重新应用于纯 thinking 模型,并探索 thinking / non-thinking 的混合训练,以便更好地理解 RL 训练在混合 thinking 模型上的行为。一旦得出确定性结论,我们会与社区分享后续发现(以及 harness adapters)。结语与未来方向
在这项工作中,我们证明了在目标 harness 内对模型进行 RL 训练,能得到更高效、在相同评测条件下也更准确的最终模型。这一观察延续了 Hugging Face 团队之前的多项工作,例如 multi-harness-RL 和 harness adapters 的早期版本。
接下来,我们会把这套方法应用到更多模型上,并深入研究 thinking / non-thinking 混合模型的训练策略。
我们也向社区开放了完整的方案和流水线供复现,欢迎大家基于自己的代码库或相关材料构建自己的 RL 任务,把同样的训练方法和思路应用到自己喜欢的模型和 harness 上,打造更高效的 agentic 模型。希望这篇博客能成为开发者在未来构建并分享自己的 harness adapters 的起点。