Hard20 从 26.25% 到 85.00%：阿里用五个基准测回放时干预

Hard20 从 26.25% 到 85.00%：阿里用五个基准测回放时干预

Rollout-Time Intervention（RTI，回放过程中按奖励标准改失败轨迹）来自阿里巴巴 Token Hub 与高德，香港科技大学（广州）参与。许可证为 CC BY 4.0，arXiv 提交日是 2026-10-09。项目负责人是 Ruixue Ding。算力和 Qwen 由 Token Hub 的 Qwen 团队提供，工作得到阿里巴巴研究实习生计划支持。代码在 https://github.com/Alibaba-NLP/qqr 。

对照不换评测协议。RTI 只改训练时失败回放怎么变成可学习信号：同一策略模型扮演校验、改写和完整性检查；困惑度门槛丢掉偏离太远的改写；再按推理转折给关键 token 加权。三个角色都是策略自己，不另接外部监督模型。

五个基准，成功怎么判

导航用高德开放平台的真实接口做多途经点。智能体先把地名解析成坐标，再调用 direction。成功只看这一次调用的起点、终点和途经点顺序是否与标注一致，不给部分分。测试集 150 条，训练集从其余样本里抽 600 条。每条 3 到 9 个途经点，顺序约束分 0 到 4 级。途经点从锚点周边 50 公里的景点检索里采样，再写成口语问题。

τ²-Bench 用 Telecom、Retail、Airline。训练实例来自 AReaL，评测集按原协议：终态数据库与参考一致，并且任务级断言全部满足。每局最多 30 轮。所有实验的用户模拟器都是 Qwen3.5-397B-A17B。该评测集许可证为 MIT。

Claw-Eval-Hard20 从 Claw-Eval 的 T 系列里选 20 个难题。先在 160 个有效单轮任务上用 Qwen3.5-9B 各跑 3 次，Pass@3 高于 1/3 的去掉，剩 63 个；再去掉证据拿不到、上下文或工具输出超限、评分器不稳的题。这 20 个的基座 Pass@3 都不超过 1/3，其中 17 个三次全失败。测试题不进训练。每个任务族另做 8 个结构保留变体，共 160 条合成训练。裁判是 Qwen3.7-Max。任务分等于 safety × (0.8 × completion + 0.2 × robustness)，超过 0.75 才算过。安全分是乘法门，不安全会盖过部分完成。

Pass@k 是 k 次独立回放里至少一次成功的任务比例，Pass^k 是 k 次全部成功的比例，k 从 1 到 4。p@1 是四次评测的 Pass@1 均值。avg p@k 和 avg p^k 再对 k=1 到 4 取平均。

参考模型是基座、同族大模型和同期闭源模型。8B 对 GPT-4.1 与 Claude-4-Sonnet，9B 对 GPT-5.1 与 Claude-4.6-Sonnet。同策略强化学习是 GRPO、GSPO、AEPO。教师方法是 OPD 和 LUFFY：8B 配 Qwen3-235B-A22B，9B 配 Qwen3.5-397B-A17B。

训练奖励是 0 或 1，成功标准和评测相同。优化器是 Adam，学习率 1×10⁻⁶，常数日程，权重衰减 0.1，回放温度 0.8，组大小 8。GRPO 裁剪和 token 再加权的对称裁剪都是 0.2。环境反馈的 token 不进损失。训练在 8 张 NVIDIA H20 上，张量并行度为 4。教师用 vLLM 放在 16 张 PPU-ZW810E 上。

Qwen3-8B：Telecom 比 GRPO 高 24.56 个百分点

表 1 五项都报 p@1、avg p@k、avg p^k。下面的 p@1 顺序是导航、Telecom、Retail、Airline、Hard20。

基座是 22.67、36.84、45.61、31.00、18.75。GRPO 是 35.33、36.84、67.54、46.50、22.50。GSPO 是 28.00、44.96、63.16、39.00、26.25。AEPO 是 34.00、45.68、63.16、51.00、20.00。OPD 是 37.33、55.26、68.42、47.50、26.25。LUFFY 是 36.00、49.12、71.93、46.00、30.00。RTI 是 57.33、61.40、73.68、56.00、50.00。

相对 GRPO，RTI 的差是 +22.00、+24.56、+6.14、+9.50、+27.50 个百分点。Telecom 上 GRPO 的 36.84 与基座相同。Hard20 上 OPD 和 LUFFY 只有 26.25 和 30.00，RTI 是 50.00。Claude-4-Sonnet 是 26.00、49.12、74.56、54.00、40.00：RTI 在 Retail 低 0.88 个百分点，其余四项更高。

RTI 的 avg p^k 也更高：导航 46.67 对 GRPO 的 29.00，Telecom 44.30 对 21.71，Hard20 37.71 对 20.83。这是 k 次全部成功的平均，不是另一次 p@1。

Qwen3.5-9B：Hard20 到 85.00%，导航只高 3.34

表 2 的 p@1 仍是这五项。基座是 39.33、92.11、82.46、60.50、26.25。GRPO 是 71.33、95.61、84.21、75.00、52.50。LUFFY 是 71.33、96.49、85.96、78.00、61.25。RTI 是 74.67、96.49、88.60、82.00、85.00。

Hard20 上基座 26.25%，RTI 85.00%，比 LUFFY 的 61.25% 高 23.75 个百分点，比 GRPO 高 32.50 个百分点。导航只比 GRPO 高 3.34 个百分点。Telecom 基座已经 92.11%，RTI 的 96.49% 与 LUFFY、AEPO、OPD 相同。

Claude-4.6-Sonnet 是 58.00、97.37、91.23、80.00、51.25。RTI 在导航、Airline、Hard20 更高，Telecom 和 Retail 更低。五栏不能读成全面超过闭源模型。

消融：完整性检查拿掉，导航低于 GRPO

表 3 在 Qwen3-8B 的导航和 Telecom 上拆组件。导航 Pass@1：GRPO 35.33，去掉完整性检查 26.00，去掉困惑度门 50.00，去掉 token 再加权 55.33，完整 RTI 57.33。Telecom：36.84、38.60、54.39、60.53、61.40。

去掉完整性检查后，Telecom 接近 GRPO，导航低于 GRPO。论文写明，没检查的改写经常泄漏答案或学不会，监督会伤策略。去掉困惑度门时，Telecom 的 Pass@1 从 61.40 降到 54.39，Pass^2 从 46.49 降到 27.19，Pass^4 从 31.58 降到 18.42。去掉再加权是最小的一档，十六个指标上完整 RTI 都不差于该变体。

困惑度门槛 δ 在 0、3、5、20 和正无穷里扫，只在 8B 的导航上扫，然后全部实验用 δ=5。δ=0 拒绝全部干预，退化成 GRPO。δ 为正无穷时不筛选，能涨但平台更低。δ=20 波动最大。正文没有各 δ 的最终百分数，曲线在图 3。

更大的教师没有更好，分布外涨幅更小

主实验都是自我干预。另用 Qwen3.5-397B-A17B 去改 Qwen3.5-9B 的 Hard20 回放。GRPO 先升后垮。两种 RTI 都能稳住，但自我干预更强：大模型的改写离策略更远，更难学。图 6 没有给出该变体的最终百分数。

导航上，RTI 早期干预前后的 Pass@8 差距大，说明干预把失败组变成了成功轨迹。干预前的 Pass@8 随后超过 GRPO，评测 Pass@4 一起升。曲线做了高斯平滑，正文不给逐点读数。超过 3 轮的轨迹在训练后期仍有质量，策略没有收成单一短对话。

附录 D.6 用 Qwen3.5-9B 把见过的任务族和其余任务分开。Hard20-ID 的 Pass@1 是基座 26.25、GRPO 52.50、RTI 85.00，与表 2 相同。分布外 Rest-OOD 的 Pass@1 从 54.34 到 62.92，avg p@k 从 65.13 到 70.73，avg Pass^k 从 43.62 到 54.48，仍高于 GRPO 的 56.56、66.53、45.87。全套 Pass@1 从 51.51 到 65.20。Rest-OOD 没有做难度筛选。一部分 Claw-Eval 任务在评测环境里不可行或评分不稳，涨幅较小不能读成没有迁移。

限制

导航只认 direction 参数是否精确匹配，不评路线质量。Hard20 只有 20 题，训练用了同任务族的 8 个变体，见过题型上的涨幅不是完全没见过该题。17 题在基座三次里从未成功，同策略强化学习几乎没有正奖励。τ² 的用户是 397B 模型，不是真人。δ=5 只在 8B 导航上选出，再用于全部实验。完整性检查缺失时，成绩可以低于 GRPO。更大教师不是更稳的默认。主表只有两个 Qwen 骨干。论文写明数据用于研究、未收集个人可识别信息；生成式工具只用于校对，研究设计和结论由作者确认。

阿里，Xi Chen、Ruixue Ding 等，Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits，2026-10-09，https://arxiv.org/abs/2610.13438