行业与实践 · 研究与基准测试

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

研究与基准测试2026-08-188 分钟
没有外部反馈，多轮不一定比零样本好：字节测测试时经验链
字节 Seed 的 Chain-of-Experience 不改参数，只把上一轮回答和反馈接进下一轮。自反馈相对无反馈平均高 5.6 个点，正确性或执行反馈高 11.1 个点。正确性反馈被写成上界。LiveBench 编码上，无反馈低于 ICL。
研究与基准测试2026-08-129 分钟
总分会把「本来就会」算成遵守：字节 Harness-IF 把规则和默认行为拆开
字节 Seed 的 Harness-IF 按单条规则打分。12 个模型的总分都高于「和默认行为相反」的那一档，平均高出 5.81 分。86.8% 的判定经过 GPT-5.2 裁判，换裁判后一致率只有 62.1%。
研究与基准测试2026-08-0610 分钟
看得见局部、拼不起全局：字节 GST-Bench 测视频里的全局空间
22 个 VLM 的零样本最高分是 Gemini-3-Pro 的 42.68，人类在每个子任务 20 个样本上是 79.08。目标在查询视角里不可见。Qwen3-VL-8B 经 GST-Train 微调后到 53.52，仍补不上人类。