布局 评估 85.5 %: 京 东 Uni - Layout 怎么 对 齐 人
京东云开发者社区 2026-09-01 记录 Uni-Layout。评估器准确率 85.5%,人模拟 LR 0.702,对照 GPT-4o 的 0.584。Layout-HF100k 有 10 万条人工标注,表 1 没有逐模型分数。

布局评估 85.5%:京东 Uni-Layout 怎么对齐人
京东云开发者社区在 2026 年 9 月 1 日发了零售广告创意的布局模型 Uni-Layout。页面作者是社区账号冯伟****。稿里写论文是 MM2025,链接 arXiv:2508.02374,代码在 JD-GenX/Uni-Layout。评估准确率和生成指标写在正文里,表 1 的逐模型分数仍有一部分只在图里。
布局生成是给海报、文档、界面排元素。这篇认为现有做法有两个断点:每个任务各训一个模型;按设计原则算出来的高分,人看起来可能很差。Uni-Layout 把生成、评估、对齐放在一个回路里。
先把任务收成四种,再让评估器学人
分类用两个轴:背景是自由还是受限,元素内容是自由还是受限。四种任务写成 BFEF、BCEF、BFEC、BCEC。生成器是多模态大模型,输入自然语言。指令里任务描述、背景、元素、输出格式都要有;背景和元素的属性必填,内容可以空。联合训练这四类,而不是一任务一模型。
评估数据叫 Layout-HF100k:10 万条人工标注,覆盖这些代表性任务。图 2 只区分合格和不合格两类例子。正文没有写标注人数、是否多人重合、合格与不合格的比例。
评估器分两支,一支看视觉,一支看几何,再加一个出定量置信度的分类头,以及定性思维链。思维链固定四步:
- 布局概览:用短文本写下第一印象和整体构图。
- 空间解构:看对齐、重叠和间距。
- 美学评估:看比例、空间和谐和视觉节奏。
- 全面评估:合成前面三步,给出合格或不合格。
对齐不用固定边距。生成器对同一指令出两个候选 l1、l2,评估器打分。偏好越强,DMPO 把胜负之间的边距拉得越大;偏好弱,边距就小。分数差还过一个非线性变换。正文把这叫动态边距偏好优化。边距的具体函数在图里,没有写成一个常数。
85.5% 是评估器,不是生成器
评估器对照的是 GPT-4o、Claude 3.5 Sonnet、GLM-4v、DeepSeek-R1,都按 LLM-as-Judge。除了 DeepSeek-R1 只吃文本,其余收到相同指令和相同视觉输入。Uni-Layout 的评估器准确率 85.5%,原文写比这些多模态模型高出 25%–35%。有的模型接近随机,大约 50%。表 1 没有把每个模型的准确率写成数字,所以 25%–35% 不能拆成「GPT-4o 是 60.5%」这种差。85.5% 的测试条数和与人工标注是否同一批 10 万,原文也没写。
生成侧分三类基线:单任务专用模型,例如 LayoutDM;闭源 GPT-4o、Claude 3.5、DeepSeek-R1;开源多模态模型,例如四个任务一起训的 LLaVA。正文点名的数是:
- BFEF:重叠 Ove 0.001,对齐 Ali 0.00004,写的是与 LayoutDM、LayoutFlow 持平或更好。
- BFEC:Ove 0.00045,Max. 0.439。
- BCEF:Rcom 31.848,Rsub 0.774。
- BCEC:Rcom 8.536,写的是这项最低,其他指标只说保持竞争力。
这些缩写没有在正文里展开公式。表 2 其余格子仍在图里。
人模拟评估用评估模型的 LR 分。Uni-Layout 0.702。对照是 GPT-4o 0.584、Claude 3.5 0.575、DeepSeek-R1 0.401、LLaVA 0.422。相对 LLaVA,原文写提升近 30%。四个专用模型的平均 LR 是 0.658:LayoutFlow 管 BFEF,P&R 管 BFEC,PosterLlama 管 BCEF 和 BCEC。0.702 对 0.658 是这组平均,不是对每一个专用模型都更高。LR 的计算式和样本数没有写。
不能混用的三组分
85.5% 是「合格 / 不合格」判得准不准。0.702 是生成结果在人模拟评估器上的 LR。Ove、Ali、Rcom、Rsub 是几何或任务指标。三组不能合成一个总分。10 万是标注规模,不是线上曝光。没有点击率,也没有标注一致率。文末有招聘说明,和协议无关。
能直接拿去用的是评估顺序:先有人标的合格 / 不合格,再用固定四步思维链加视觉、几何两支做判断;对照 LLM-as-Judge 时锁住同一指令和同一张图,文本模型单独标明;生成对齐按偏好强弱改边距,而不是所有偏好对用同一个 margin。
京东云开发者社区,冯伟****,京东零售广告创意:统一的布局生成和评估模型,2026-09-01,https://developer.jdcloud.com/article/4420
觉得有用,转给同事
微信扫码
用微信扫一扫,在手机上打开后即可转发。