井字棋只证明闭环：蚂蚁用同一环境复测 Agentic RL

井字棋只证明闭环：蚂蚁用同一环境复测 Agentic RL

蚂蚁百灵在 2026 年 8 月 14 日把 Ling-3.0-tiny 和 ASystem AReno 接成一条单机后训练路径。要解决的不是「模型能不能在本地跑起来」，而是模型进了具体任务以后，会不会稳定地守规则、调工具、交出下游还能继续处理的结果。客服 Agent 可能选对退款工具却填错参数，流程 Agent 可能懂意图却漏掉审批，抽取结果看起来完整却无法被系统解析，代码 Agent 可能读懂需求却没有按约束改指定文件。

Prompt 能补当次要求，检索能补知识，工具能扩大行动范围。同一类错误在重复流程里反复出现时，要改的就不是再提醒一次，而是让模型更稳定地学会规则、工具用法和行动边界。本地业务还有额外约束：企业内部数据、失败轨迹和反馈信号受数据边界限制，规则、接口和流程状态又会变。文中给出的闭环是：基线评测、反馈定义、后训练、同一环境复测。

一条从单机开始的后训练路径

Ling-3.0-tiny 是这次实验里可在本地跑、也可继续迭代的模型。AReno（ASystem Reinforcement Learning Nano）是蚂蚁 ASystem 团队发起、开源社区共同维护的本地化大模型后训练工具包，负责把任务反馈收成可训练、可复测的闭环。它把训练框架、推理服务和底层算子放进单节点流程，支持强化学习、SFT/DPO 一类训练、本地模型服务和 Agentic RL。开发者不必先搭集群，也不必把多套系统拼起来，就能从基础模型走到训练、服务和任务复测。

实验选井字棋，是因为规则清楚、反馈明确、结果可验证。原文写明：井字棋不是最终业务问题，也不是百灵的真实世界案例，只是最小实验环境。硬件是 DGX Spark。

用井字棋把 Agentic RL 跑通

棋盘只有 9 格，胜负好判断，但不是单步分类。模型要看懂当前棋盘，通过 choose_square 工具落子，只能选空位，不能重复落子，有机会时要走出获胜步。这个最小任务同时覆盖状态理解、工具调用、环境判断、反馈设计和同环境复测。

四步按顺序做：

1. 基线评测。让 Ling-3.0-tiny 在同一环境里直接对局，看它能不能理解状态、正确调用工具、选出合法动作。
2. 定义反馈。把规则、非法动作、最优动作和获胜动作写成 Reward。
3. 后训练。AReno 把 rollout、Reward、训练和采样收成闭环，让模型按交互反馈更新策略。
4. 复测。回到同一环境再下，用可视化、Reward 曲线和 response_len 一起判断有没有变好。

训练前，Tiny 已经能理解一部分任务上下文和井字棋规则，但进了交互环境以后行动不稳。初始表现里会出现判断错误，甚至把棋下到已经有子的格子上。这类问题在 Agent 任务里很常见：看起来知道规则，一进真实交互，工具参数、状态理解和动作选择都会露出问题。

交互环境把错误拆开：这一步合不合法、有没有违反状态约束、有没有错过更好的选择，都可以由环境直接评。比只看离线问答更容易分清错在规则理解、状态理解、工具调用，还是行动策略。

数据集：可复现的中间局面

实验先生成一批井字棋中间局面，让模型在不同棋盘上学习下一步。生成规则是：

1. 建空的 3×3 棋盘，空格用 . 表示。
2. 从 X 开始。
3. 随机走 0 到 6 步。
4. 每一步只从当前合法空位里随机选。
5. 出现胜负或棋盘结束就停止。
6. 只保留同时满足三条的局面：轮到 X、对局还没结束、局面不重复。
7. 固定随机种子，相同参数能重复生成同一批数据。
8. 如果随机过程结束时轮到 O，再额外随机落一枚 O，让最终轮到 X。

一条样本是：{"id":"generated-00000","board":[["X",".","O"],[".",".","."],["X","O","."]]}。模型要根据这块棋盘选择下一步。

Reward：先合法，再最优

Reward 故意做得很直接：

• 没有合法的 choose_square 工具调用：-1.0。
• 参数解析不了，或选了已占用格子：-1.0。
• 这一步让 X 马上获胜：1.0。
• 没有马上获胜，但是最优动作：0.8。
• 动作合法，但不是最优：0.0。

三层约束依次是：必须用对工具格式；必须遵守棋盘，不能占已有格子；合法之后再追求更优策略。规则和结果由此变成可以进后训练的反馈。

DGX Spark 上的训练数字

反馈定下来以后，AReno 在 DGX Spark 上用 GSPO 训练 400 个 step。训练过程中，rollout/rewards_mean 从平均约 -0.5 升到约 0.4。结合任务定义和后面的复测，原文把这理解成：非法动作在减少，有效行动比例在提高，落子策略更合理。

同时 response_len 降到约 850 tokens。模型完成任务时更短，少了一些冗长思考和无效输出。Agentic 任务不只要求做对，也要求用更稳、更省的方式做完。一个指标看任务反馈变好，另一个看输出在收敛。指标不是终点，还要把训后模型放回同一个交互环境，再看它怎么调工具、选动作、守棋盘。

同环境复测，以及它不能说明的事

同一环境里再测，训练后的 Ling-3.0-tiny 在工具调用和动作选择上稳定很多，更能遵守棋盘状态，也能在关键位置作出更合理的选择。训练前后的对比说明的是这个任务里的工具调用和动作选择趋于稳定。

原文把边界写死了：这只说明在井字棋这种规则明确、反馈可验证的实验环境里，后训练正在改变任务行为；它不等于通用能力整体提升。Demo 的价值是验证一条可以被观察、被复现、被迁移的任务适配路径。

什么时候才值得后训练

不是每个任务都要后训练。一次改 Prompt 就能稳住，或者主要缺的是外部知识，先用上下文、检索或工具。下面几条同时出现，后训练才更值：

• 规则相对清楚。正确、错误、合法、违规或更优，可以被明确描述。
• 错误能复现。同一类错误会在相似任务里持续出现，不是偶发。
• 结果能评价。环境、规则程序或人工反馈能判断做没做完，并形成监督数据、偏好信号或 Reward。
• 任务会重复。要在一批相似流程里保持稳定，而不只完成一次对话。
• 目标是改变行为。希望模型长期形成更稳的格式、工具用法、决策偏好或流程约束。

文中点名可以迁移的方向：减少工具名、参数格式和调用时机错误；让结构化抽取持续遵守字段、Schema 和输出格式；在专业规则和业务边界内做领域指令遵循；稳定学习特定写作格式；在多步骤业务流程里正确调工具、填表、推进流程并处理环境反馈。

为什么是 Tiny，为什么是 AReno

选 Tiny 不是因为它小，而是它降低本地运行和实验门槛的同时，仍能进推理、工具调用和 Agent 任务。Ling-3.0-tiny 总参数 7.9B，推理时每个 token 只激活 1.3B，是原生混合推理模型。开源有 BF16、FP8、INT4 三个版本，按硬件、能力和部署成本选。

模型太大时，一次实验要更多显存、更复杂的并行和更长等待；Reward、数据或 Agent 逻辑一变，很难马上进入下一轮训练和复测。Tiny 把这条反馈链缩短：7.9B 总参数、1.3B 激活更适合在 DGX Spark 这类环境里训练、调试和复现；Reward、数据、Prompt 和 Agent 逻辑可以更快进入下一轮；它已经能进真实任务、工具调用和 Agent 工作流，可以在环境交互和规则反馈里继续调策略。

AReno 要降的是从「有一个任务适配想法」到「真正完成训练和复测」的工程门槛。过去的强化学习后训练往往同时要训练框架、推理服务、算子依赖、环境配置、集群、Reward 设计和 Agent 轨迹采集，任一环没通，具体想法就会停在还没跑起来。目前它支持 SFT/DPO 风格训练、RL 后训练、Agentic RL、本地模型服务、自定义 Reward Function，以及训练、推理、采样与优化闭环。开发者可以替换数据、环境和 Agent Function。

复现入口和迁移方法

AReno 提供了用 Docker 在 DGX Spark 上跑训练的教程，井字棋实验的中文指南在 https://github.com/inclusionAI/AReno/blob/main/examples/agentic/tictactoe/DGX_SPARK_GUIDE_CN.md 。仓库首页是 https://github.com/inclusionAI/AReno 。跑通以后可以换数据集、Reward 或 Agent Function，把最小实验改成自己的任务。权重在 Hugging Face 和魔搭的 inclusionAI/Ling-3.0-tiny，以及对应的 fp8、int4 版本。

值得复用的不是井字棋，而是方法：找到可复现错误，定义可验证反馈，完成本地训练，回到同一环境复测。原文也写明，这次验证的不是已经完成的行业方案，而是一条轻量、可复现的任务适配路径。

读这篇时要守住的限制是：400 step、rewards_mean 从约 -0.5 到约 0.4、response_len 约 850 tokens，都只对应这套井字棋环境和 GSPO 设置；最优动作的 0.8 与合法非最优的 0.0 是设计出来的 Reward，不是通用能力分；同环境变稳不等于模型在客服、审批或代码修改上已经可靠。

出处：蚂蚁，蚂蚁百灵（页面未署个人作者；ASystem / 百灵技术分享），从跑起来到训起来：Ling-3.0-tiny × ASystem AReno，打通单机 Agentic RL 闭环，2026-08-14，https://developer.ant-ling.com/zh-CN/blogs/ling-3.0-tiny-arena-agentic-rl