← 文章 / AI技术
Hacker News 1小时前 · 2026-11-19 08:18:22 · 1 阅读

RadixArk 发布 DaisyRose-27B:借助 1,200 个任务强化学习大幅提升 Qwen3.8 终端基准表现

DaisyRose-27B:一朵雏菊和一朵玫瑰,托着模型名称。

今天,我们发布 RadixArk 的首个模型 DaisyRose-27B。它基于 Qwen3.8-27B 构建,使用 Miles 进行强化学习训练。我们在长程 agent 任务上训练它,单次会话最长可达 100 万 token,只用了 1,200 个精心筛选的任务、144 块 H200 GPU、历时 18 天。DaisyRose-27B 在 Terminal-Bench 4.1 上的 pass@1 成绩从 5.6% 提升到 12.0%。除了 Terminal-Bench 4.1,它还在多项推理、指令遵循和编程基准上取得了提升。

我们发布了 BF16、FP8 和 NVFP4 三种 checkpoint,欢迎大家试用和在此基础上开发。本文将介绍:如何通过精心设计的任务和高效的基础设施,在有限的算力预算下实现这些提升。

DaisyRose-27B 与八个模型在七项基准上的对比。DaisyRose 在 Terminal Bench 4.1 上得 12.0 分,Terminal Bench 2.1 上得 75.5 分,DeepSWE v1.1 上得 46.2 分,SWE Bench Pro v2 上得 94.7 分,HLE(纯文本)上得 34.3 分,IFBench 上得 82.4 分,GPQA Diamond 上得 90.7 分。
基准对比表,包含模型规模和得分。DaisyRose-27B 的激活参数量和总参数量均为 27B。其基线 Qwen3.8-27B 在七项基准上的得分分别为 5.6、73.0、42.2、91.3、33.9、79.5 和 89.2。

在上述所有基准上,DaisyRose-27B 的得分都高于原版 Qwen3.8-27B1,其中提升最大的是以高难度长程任务著称的 Terminal Bench 4.1。我们的秘诀在于三个关键要素:高质量的训练数据、高效的训练后端,以及健壮的沙箱环境。

高质量训练数据

我们与 Eigent AI 合作构建任务,起点是 Eigent AI 在机器学习、软件工程、科学等领域的庞大任务库。双方共同构建了数千个候选任务,最终约有 1,200 个入选正式训练集。训练任务的选择基于以下三项标准。

  • 每个任务都针对原模型的具体失误。 我们在每个训练任务上运行了原始的 Qwen3.8-27B,并仔细重新设计了每个任务,以激发那些我们期望模型不再犯的错误。随后,我们调整每个任务,使其解决率落在合适的范围内,既不会太简单,也不会太难,从而让模型能够有效学习。
  • 每个任务都是包含多个关联问题的长程作业。 每个任务都涉及一系列相互依赖的问题链,智能体必须穿越多阶段推理、规划和执行。在沙箱环境中,每次尝试最长可获得 1.5 小时时间,期间需进行超过 100 次工具调用,并输出超过 256k 个 tokens。
  • 杜绝奖励黑客(Reward Hacking)。 我们审查了每一个任务及其模型的尝试结果。任何能够通过非真正解决问题的方式通过的任务,或存在设计缺陷的任务,都在训练前进行了修复或剔除。

高效训练后端

RadixArk 使用 Miles 训练了 DaisyRose-27B。Miles 是我们专为大规模模型后训练打造的开源强化学习框架,运行在完全异步模式下:智能体持续工作,模型同步学习,两者互不等待。128 张 H200 负责智能体任务的推理,另外 16 张负责运行训练器并从轨迹中学习。每一步更新后,新模型即刻下发至运行智能体的 128 张 GPU。学习过程运行在我们的内部训练后端上,专为智能体训练设计:每一步学习都基于少量极长的会话,部分会话长达 1M tokens,并通过 harness 摘要技术折叠为多条轨迹。

训练成本降低 57%。在本次发布中,我们的后端把每块 GPU 峰值算力的 37% 用在了有效的训练计算上(即模型 FLOPs 利用率,MFU)。基于 Megatron 的开源训练器在同等运行中只有 16%。这意味着同样的训练任务可以节省 57% 的 GPU 时间。在 mixture-of-experts 模型上提升更为显著:Qwen3.6-35B-A3B 上达到 6.2 倍,而在约 300B 参数的 GLM-5.3-Flash 上超过 10 倍。

GPU 效率:在 Qwen3.8-27B 上,内部后端达到 37%,开源训练器为 16%;在 Qwen3.6-35B-A3B 上分别为 16.1% 和 2.6%;在 GLM-5.3-Flash 上分别为 11.7% 和不到 1%。

端到端速度提升 2 倍。以 agent 花在任务上的时间计算,本次发布运行在 144 块 GPU 上达到了约每秒 16,800 tokens 的训练速度,而开源训练器在同样的 GPU 上约为 8,300。

在 144 块 H200 上的端到端训练速度:内部后端每秒训练 16.8k tokens,开源训练器为 8.3k,提速 2.0 倍。

数周稳定运行。本次发布运行在 144 块 H200 上连续训练了数周,总计 63,000 GPU 小时。从第一步到最后一步,速度和效率始终保持稳定。

144 块 H200 上 18 天内的训练速度与 GPU 效率。训练步速度中位数为每秒 19.3k tokens,模型 FLOPs 利用率中位数为 37%;虚线所示的开源基线分别为 13.5k 和 16%。
DaisyRose-27B 发布运行在 144 块 H200 上的每个训练步,按总训练时长绘制。虚线:同等条件下开源训练器的表现。

稳健的沙箱服务

训练期间,Agent 的每次尝试都在沙箱中运行:这是一个任务环境的全新副本,Agent 在其中执行命令、编辑文件,随后接受评分。RadixArk 团队在本次发布中的所有工作均在我们自建的沙箱服务中完成,该服务基于开源项目 AgentENV 构建,我们也向该项目贡献修复补丁。9 月中旬至 11 月中旬期间,该服务为该项目运行了约 94.4 万个沙箱,峰值并发数达 1,566 个。

规模扩大,可靠性提升。 该服务从单台机器扩展至最多 12 台。我们部署了十次升级,其中几乎全部是在训练运行期间完成的。九周以来,沙箱创建成功率保持在 99%,10 月底之后更是提升至 99.95% 以上。这一成果离不开持续的修复与优化,例如防止机器在内存耗尽时冻结。

总计 944K 个沙箱,峰值并发 1,566 个,最终运行成功率达 99.95%。

成本降低 80%。 项目沙箱的云端基础设施成本比使用主流云沙箱提供商运行相同沙箱的成本低约 80%。控制成本的一个关键措施是让每个沙箱的内存随实际使用情况动态伸缩。通常沙箱仅使用所申请内存的一小部分,因此每台机器可以运行更多沙箱。

试用 DaisyRose-27B,或训练你的专属模型

你可以从 Hugging Face 下载 DaisyRose-27B,也可以使用我们的开源强化学习框架 Miles 训练自己的 Agent。

DaisyRose-27B 展示了高质量数据和高效基础设施所能实现的突破。我们将这一方法应用于构建专用模型的团队,重点在于提升其所需能力的同时,保留模型的通用优势。如果你正在探索自有模型的后训练方案,请通过 contact@radixark.ai 联系我们。

我们衷心感谢 Eigent AI 在训练数据方面与我们紧密合作,感谢 Qwen 团队打造了 Qwen3.8-27B——我们工作的基础模型。同时感谢 Miles 和 SGLang 社区,以及 slime、AgentENV、Harbor 等其他开源项目。
  1. 评测方法:Terminal Bench 4.1 每个任务跑 8 次取平均,使用内部 mini-swe-agent harness 并开启摘要功能;Terminal Bench 2.1 每个任务跑 5 次取平均,使用 Terminus 2 harness;DeepSWE v1.1 和 SWE Bench Pro v2 分别每个任务跑 8 次和 5 次取平均,均使用 mini-swe-agent harness;HLE(纯文本)每题跑 5 次取平均,由 GPT-6 Luna 评分,不使用工具;IFBench 对 300 条 prompt 各跑 4 次取平均,使用官方 allenai/IFBench 评分器,在最终回答上按 prompt-level loose accuracy 打分,剔除思考过程;GPQA Diamond 对 198 道题各跑 8 次取平均,采用 simple-evals 的选择题模板和答案提取方式,每次运行都重新打乱选项顺序。 ↩

原始来源: Hacker News

评论 (0)