先看 boN 再开训：火山方舟强化学习用奖励分，不靠标准答案硬拟合

先看 boN 再开训：火山方舟强化学习用奖励分，不靠标准答案硬拟合

火山方舟是字节跳动的大模型服务平台。文档《强化学习最佳实践》页面上的最近更新时间是 2026 年 9 月 22 日。强化学习在这里被收成 rollout、reward、组织样本、train。Model RL 主要写奖励函数。Agent RL 还要管 rollout 里的智能体逻辑、样本选择和格式。平台封装了训练环境，用户选模型、数据和算法。

基座得先能采到奖励

文档建议先 SFT，让模型学会范式，再用少量标注做 RL，把期望的采样打正分、不期望的打负分。KL 系数用来收探索幅度。客观题有准确奖励、想压掉某类输出、或想要多样性，才适合上 RL。前提是参考模型多次 rollout 里，已经有不小概率能拿到奖励，否则奖励太稀。

动手前要先有评估集。看 bo1 和 boN：boN 应明显高于 bo1，并且接近预期。做不到就先别开 RL。

四种算法不是同一类数据

DPO 用已经离线备好的偏好数据，不训练奖励模型，显存更低，数据不准会学偏。PPO 同时训策略模型和价值模型，用裁剪或 KL 限制更新幅度。GRPO 去掉价值网络，用组内相对比较。DAPO 由清华大学和字节提出，用裁剪偏移、动态采样、token 级策略梯度和溢出奖励塑造。文档写它在 AIME 2024 上用 Qwen2.5-32B 得到 50 分，高于 DeepSeek-R1 的 47 分，步数大约是 DeepSeek-R1-Zero-Qwen-32B 的一半。这是文档引用的对比，不是方舟控制台里的一次任务结果。

数据格式另见格式总览。可以先做几百条，规则越难再加。

奖励最多叠 5 条

预置函数够用就别写代码。字符串全等给抽取和分类，字符串包含给摘要，正则给有格式的问答，长度惩罚用来压冗长，要和其他函数一起用。没有明确对错的偏好，用奖励模型：自定义函数去调方舟接入点，再把输出解析成分数。

自定义函数要开通函数服务，不用不收费。返回里有 rewards、metrics、status 和 error。status 只写 success 或 failure。

奖励规则一共不超过 5 个，预置函数可以加多次。每条有权重，最终分是加权和。权重默认 1，最小 0.01，最大 1000，步进 0.01。

客观题可以把 KL 设成 0

kl_coefficient 在客观题可以是 0。加大它更贴近原模型，减小它更多样。num_sampling 目前只给 GRPO 配，PPO 默认 1。每个 step 的更新次数是 batch_size 乘 num_sampling，再除以 mini_batch_size，后者必须整除。max_new_tokens 按 rollout 截断比例调。最大输入等于模型窗口减去这个值。temperature 和 top_p 建议只动一个。产物按步保存，超过上限就删早的。配了验证集，才按 test_every_n_steps 出验证指标。

看加权奖励，不只看一条函数

训练观测里主要看 train/reward/final_rewards 和 test/reward/final_rewards，是一个 batch 上多条奖励的加权平均。每条函数还有 mean、bon 和 won：bon 是每个样本 n 次采样的最大值再平均，won 是最小值再平均。pg_clipfrac2 一般在 1e-4 以下。自定义函数带回的指标，会按 key 聚成最大、最小和平均。

数学案例用预置奖励，文档只写测试集正确率提升 10%、提升幅度 30%，没有给出前后的绝对正确率。代码案例把可能到 MB 甚至 GB 的测试用例放进对象存储，算奖励时由 sandbox 拉取。页面没有给出代码任务的通过率。

字节跳动，火山方舟，强化学习最佳实践，2026-09-22，https://www.volcengine.com/docs/ark/tutorials-reinforcement-learning-best-practices