发生了什么
11月20日,Hugging Face研究员Lewis Tunstall在官方博客介绍了harness adapters:在冻结基座模型权重的前提下,用强化学习为特定智能体框架(harness)训练LoRA适配器,让同一模型在该框架和对应任务上更准,也更省token。这次实验把规模做到27B,任务更接近真实软件工程,并公开了可复用的训练配方和工件。
关键细节和数据
基座模型是Qwen3.8-27B。团队分别在Pi、OpenCode和Hermes Agent里各训练一个LoRA,按all-linear方式挂到模型上。训练阶段关闭thinking,评测时再比较关闭和开启两种设置。训练使用TRL的AsyncGRPOTrainer,以及OpenEnv和harbor。评测在各自的框架内进行:Terminal-Bench 2.1全部89道题(每题1小时、最多100步),以及SWE-bench Pro最难的51道题(每题2小时、最多100步),每题最多131072个token,并采用各框架默认设置,指标为pass@1。官方提醒,Pi不保留此前的推理轮次,OpenCode和Hermes会保留,因此不能直接拿不同框架上的分数互相比较。
一个直观对照是:Qwen3.8-27B在pi框架的Terminal-Bench 2.1上得分为39%,平均每题约2.9K tokens;加上该框架的适配器后,pass@1升至55%,平均用量约1.5K。三个专科适配器在本框架的两项基准上都超过了基座。在SWE-bench Pro这51道难题上,pi从39.2%升到64.7%(提高25.5个百分点,新解出15题、丢掉2题,p=0.002),hermes从29.4%升到43.1%,opencode从35.3%升到51.0%。在完整Terminal-Bench 2.1上,pi提高16.3个百分点,hermes提高14.1个百分点;opencode总体提高6.0个百分点,在未参与选择checkpoint的66道题上提高13.6个百分点。在双方都做对的题目上,专科适配器在SWE-bench Pro上少调用56%到72%的工具,在Terminal-Bench上少53%到70%。
三个LoRA还可合并成一个super-adapter,在三个框架下不用改配置就能用。关闭thinking时,它在全部六组“框架–基准”组合上都超过基座,平均pass@1从39.5%升到49.0%(新解出71题、丢掉34题,p<0.001)。它并未在开启thinking的条件下训练,但在同样推理强度下仍是这次评测里最强的:六组中五组取胜、一组打平,平均从55.5%升到63.5%。官方建议,如果关闭thinking或只使用一个框架,优先采用对应的专科适配器。合并权重的二分之一比例是在Terminal-Bench 2.1上选定的,因此这组Terminal-Bench数字略偏乐观,SWE-bench Pro没有参与这一选择。
效率上,在基座和super-adapter都做对的题目里,关闭thinking时后者少调用53%到73%的工具,少生成44%到60%的token。换到AutomationBench的300道商务自动化题、并改用该基准自己的智能体循环后,差距不再明显:pi为27.0%,opencode为25.3%,基座为23.0%,合并适配器为23.7%,hermes为17.7%。官方认为多数差异仍在噪声范围内,说明在原框架里学到的能力并没有清楚迁移到这套很不同的环境中,不过也没有明显把模型用坏。
为什么重要
通用模型追求的是平均表现,开发者日常却往往固定使用某一个智能体框架、解决某一类任务。这篇文章把“针对框架做强化学习”写成可复现的配方,并公开适配器等工件。与此同时,收益主要出现在训练所用的框架和软件工程类基准上,换一套循环就不再明显,说明它更像针对工作流的专用微调,而不是一次通用能力跃升。
影响和展望
对已经绑定Pi、OpenCode或Hermes的团队来说,先在本框架里试专科适配器,可能比只靠把thinking开到最大更划算,因为同样成绩往往用更少的工具调用和token。若要同时服务多个框架,合并后的super-adapter是折中方案,但在关闭thinking时会丢掉一部分专科收益。下一步仍需看这种方法在其他基座模型和更不同的任务分布上是否站得住。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4862.html