音频不能进强化学习：火山方舟多模态精调数据按模态卡格式

音频不能进强化学习：火山方舟多模态精调数据按模态卡格式

火山方舟是字节跳动的大模型服务平台。文档《语言及多模态理解模型精调数据格式》页面上的最近更新时间是 2026 年 10 月 20 日。它规定训练集和验证集怎么写，不给某一版模型的准确率。

先看输出是不是文本

这页只覆盖以文本为输出的语言及多模态理解模型。一条样本可以只有文本，也可以按模型能力混入图片、音频、视频。推荐版本是 doubao-seed-2-0-mini 和 doubao-seed-2-0-lite 的 260428。两者的 SFT、DPO、GRPO 都支持全量和 LoRA。LoRA 按 token 推理是基础模型的 2 倍，窗口 256k，最大回答和思维链 32k。mini 的模型单元和批量推理窗口与基础模型一致；lite 的其他推理方式以控制台为准。视频能不能用，也以控制台可选能力为准。

音频只进 SFT、DPO 和继续预训练。GRPO、PPO 等强化学习不得出现 audio_url。强化学习里 assistant 只写文本，最后一条 message 的 role 必须是 user 或 tool。

一行一条，空文本直接不合格

数据集是 JSONL，一行一个完整 JSON。精调文件的绝对路径不能含 *、?、[、]。单文件要小于 2GB。text 不能是空字符串。extra 可选，key 必须是 string，value 不限类型。不支持 thinking 的模型禁止填写 thinking。

SFT 的 messages 支持 system、user、assistant、tool。system 和 user 用数组，可混排 text、image_url、audio_url、video_url。assistant 的 content 是字符串。loss_weight 只有 assistant 能设，默认 1.0，范围是 0.0 到 1.0。reasoning_content 只能挂在最后一个 assistant 上。多轮样本如果只在最后一轮带思考，模型会学成中间轮次不思考。视频可加 fps，表示每秒抽几帧；不填就用模型默认抽帧。

DPO 的最后一条 message 必须是 assistant，并且只在这一轮写 choices。choices 长度是 1 到 5，建议至少给 2 条分数不同的回复。score 默认 0.0，范围 0.0 到 1.0，多条回复不能分数完全一样。lm_loss_mask 默认 0.0，表示不算 SFT loss。文档建议把 score 最大的那条设成 1.0；如果全是 0.0，训练可能不稳，泛化也会变差。打开 lm_loss_mask 时，非最后一轮 assistant 的 loss_weight 要置 0，否则会伤深度思考。

继续预训练可以用纯文本、分段 content，或图文音视频混排。单条 text 不限长度，超了模型最大 token 会拆成多条样本，所以行数可能变多。content 里 text 片段的 loss_weight 默认 1.0；图片、音频、视频默认 0.0，而且只允许设成 0.0。

图片、音频、视频的地址不一样

图片单张不超过 10MB，长宽比要小于 200。单图最多 5120 tokens，超出会被采样到这个上限。图片 token 等于长像素乘宽像素再除以 784。样本超过训练窗口会被截断，图片按整张截。格式包括 JPEG、PNG、GIF、WEBP、BMP、TIFF、ICO、DIB、SGI、JPEG2000。

image_url 可以用 tos://、data: Base64 或 file: 相对路径，不能用 HTTP(S)。相对路径要把整个文件夹拖进上传框，不能只点选文件。jsonl 必须放在文件夹根路径，里面可以有多个 jsonl。暂不支持绝对路径形式的 tos url。控制台选 TOS 数据集文件夹时，可以直接点选。

音频和视频只能用 tos:// 或 data: Base64，而且对象必须和 JSONL 在同一个桶。不支持 HTTP(S)、file:，也不支持 File API 的 file_id。从 TOS 导入时只上传 jsonl。单个音频或视频不超过 512MB。音频支持 WAV、MP3、M4A、AAC，以创建任务时的校验为准。纯音频不限时长。视频支持 MP4、AVI、MOV。MOV 走 URL 时 Content-Type 用 video/quicktime，走 Base64 时用 data:video/mov;base64,...。视频里的音轨经预处理后，和纯音频用同一套 token 计量。video_url 只能用在支持视频输入的模型和训练方式上。

函数调用和思考开关另有卡点

函数调用样本顶层必须有 tools，格式与推理 API 一致。parallel_tool_calls 可选，默认 true。设成 false 时，assistant 又给出多个 tool_calls 会报错。每个 function 都要有 name 和 arguments，arguments 必须是合法 JSON 字符串。返回结果的 role 是 tool，这类消息的 loss_weight 固定 0.0，不能改。样本可以截断，但必须以 assistant 结尾。希望模型在调用函数时同时输出思考，把这段文字写进 content。

Seed 2.0 260415 以上模型，强化学习 rollout 默认只支持 thinking disable，不能再设置这项。enabled 强制思考并预期输出 reasoning_content，disabled 强制不思考，auto 由模型按问题难度决定，custom 不做 reasoning_content 校验，训练和推理都要沿用同一套 chat template。具体模型能开哪些枚举，以深度思考文档为准。没有 reasoning_content 的样本，配套脚本会把 thinking 标成 disabled；有的标成 enabled。本页没有给出精调后的准确率。

字节跳动，火山方舟，语言及多模态理解模型精调数据格式，2026-10-20，https://www.volcengine.com/docs/ark/multimodal-fine-tuning-data-format