CodexQA

Industry & PracticeResearch & Benchmarks

判对也会编证据:蚂蚁 ATAR 把真阳性幻觉压到 7.2%

CodexQA 团队8 min read

蚂蚁实习期间完成的 ATAR 用 22 个鉴识工具做多轮伪造检测。六套零样本 IMDL 图像级 F1 78.5%,随机工具比不用工具更差。去掉推理奖励后分类只掉 0.6 个百分点,真阳性幻觉从 7.2% 升到 21.6%。

In this piece

判对也会编证据:蚂蚁 ATAR 把真阳性幻觉压到 7.2%

ATAR(Agentic Tool-Augmented Reasoning,用工具增强的多轮推理)是一套可解释图像伪造检测框架。论文 arXiv:2609.39066 的页面提交日是 2026 年 9 月 30 日,许可证为 CC BY 4.0。作者是 Zhiya Tan、Jing Huang、Changtao Miao、Lin Tan、Xin Zhang、Weiwei Feng、Jianshu Li、Joey Tianyi Zhou。HTML 写明这项工作完成于 Zhiya Tan 在蚂蚁数字科技(Ant Digital Technologies,Ant Group)实习期间,项目负责人是 Changtao Miao。Jing Huang、Changtao Miao、Weiwei Feng、Jianshu Li 的机构写的是 Ant Group。Lin Tan 在新加坡科技设计大学,Xin Zhang 和通讯作者 Joey Tianyi Zhou 在新加坡 A*STAR,Zhou 同时在新加坡管理大学。这不是蚂蚁单方产品博客。

作者对照三种做法。传统图像篡改检测与定位(IMDL)能出像素掩码,抓边界、JPEG 压缩不一致和频域异常,但不给可追溯理由。多模态大模型(MLLM,能看图也能写说明的模型)先由检测模块定结论,再让语言模型把已经定好的结论说成一段话,视觉编码器又看不清底层痕迹,于是在没有明显语义破绽时编出听起来像的解释。ATAR 模仿司法鉴定里的三段:实验分析、逻辑推理、科学证据。实验分析分成两路:高层语义异常,把可疑区域放大看;低层伪造痕迹,调用 22 个无监督鉴识工具。推理阶段由模型自己决定要不要再查。最后交出分类、伪造区域和一条能回溯的证据链。

22 个工具不是都有用,先用 ΔAUC 挑

训练数据只有二值掩码,没有多轮工具轨迹,人工标不起。合成分四段。先用 MLLM 迭代,把掩码拆成带语义标签、框和篡改类型的实例;需要分开实例时调用 Segment Anything Model(SAM,按提示分割物体的模型)。然后 22 个工具全部跑在伪造图和对应原图上,对真值掩码算像素级 AUC。ΔAUC = AUC_fake − AUC_orig,用原图当基线,去掉工具自己的偏向。ΔAUC 高不代表热图看得清,所以每张图选两个工具:tool_first 用 Cohen's d 挑 MLLM 最好读的热图,并乘上 ΔAUC,只留检测质量够的;tool_best 直接最大化 ΔAUC。另外给每张图留 Top-3 最优工具集,后面课程和奖励要用。最高 ΔAUC 低于 0.15 的样本不进工具增强训练。

七个域、工具个数写在括号里:压缩 4、噪声 4、频率 3、结构 3、复制移动 1、AI 生成 6、基础模型 1,合计 22。表 1 是各域被选为最优的比例。JPEG 拼接的 AutoSplice 有 75.7% 落在压缩工具;对抗合成的 FantasticReality 主要触发噪声工具,29.7%。每个域至少在一个数据集上领先。作者据此说工具库必要,也不冗余。逐工具的比例在附录,正文没有。

师生都是 Qwen3-VL-235B-A22B。学生看图时没有真值,老师拿着标注纠偏。学生每裁一块,老师用覆盖率(真值掩码有多少落在裁块里)和重叠率(裁块有多少被掩码占住)对未覆盖的真值做匹配。命中的阈值是覆盖率至少 0.5 且重叠率至少 0.12。相关的下界写了覆盖率至少 0.1,其余档的上界在图和后文,这里不补。

训练:先学多轮格式,再把选工具的控制权交回去

监督微调(SFT)约 4.1 万条多轮轨迹,来自七个数据集:CASIA2、IMD2020、FantasticReality、NeXT-IMDL、AutoSplice(都是 IMDL),OpenForensics(Deepfake),DocTamper(文档篡改检测与定位,DMDL)。强化学习用 NeXT-IMDL、OpenForensics、DocTamper,6.2 万条。域内测试走这三套的官方划分。域外 IMDL 有像素掩码的是 CASIAv1+、Columbia、NIST16、Coverage、Korus、CocoGlide。文档伪造 T-SROIE 和 FSTS-1.5k 只评定位。GenImage++ 覆盖 5 个生成器家族,只评 AIGC 分类,而且 ATAR 没有用任何 AIGC 数据训练。

分类用图像级准确率和 F1(文中 iF1、ACC)。定位先把 ATAR 的文字区域描述用 Grounded-SAM 转成像素掩码,再算像素级 IoU 和 F1(pF1)。判成真实的图,掩码全 0。

底座是 Qwen3-VL-8B-Instruct,LoRA 打在全部线性层,秩 128,α 256,视觉编码器冻结。SFT 3 个 epoch,8 张 A100-80GB,DeepSpeed ZeRO-3,学习率 2×10⁻⁵,余弦调度,warmup 0.1,批大小 32,最长 32768 token,损失只算在助手轮。强化学习用 GRPO,组大小 G = 8,KL 系数 0.001,裁剪下限 0.2、上限 0.3,τ = 0.6,top-p = 0.90,熵系数 0.0002,批大小 128,400 步。课程衰减的 t0 放在总步数的 50%,α = 5.0。奖励权重 w1 = 0.35、w2 = 0.35、w3 = 0.25、w4 = 0.05。消融把 r2 写成定位、r3 写成推理质量;去掉 r1 的实验没有单列。裁判模型是 Qwen3-VL-235B-A22B,和合成轨迹的师生是同一个系列。

SFT 之后模型还不会从 22 个工具里稳定选对。Tool Prior Curriculum 先给有效工具选择,再逐步撤掉,把控制权交回智能体。Structured Evidence Reward 把分类、定位、推理质量拆成可以单独核对的项。结论一致性由 LLM 裁判检查:最终判断要和已积累的证据一致,矛盾必须写出来,不能瞒过去。

六套零样本 IMDL:图像级 F1 78.5%,不是每套都第一

表 2 是六套零样本 IMDL。ATAR 的平均值 iF1 78.5%、ACC 74.6%、pF1 56.4%、IoU 49.6%,四项都是表内第一,比 TruFor 高 5.6 个图像级 F1 百分点和 6.0 个像素级 F1 百分点。只做 SFT、不上强化学习的 ATAR 平均是 74.3% / 71.1% / 46.8% / 40.2%。基座 Qwen3-VL-8B 只有 29.0% / 58.1% / 34.5% / 27.4%,图像级 F1 比 ATAR 低 49.5 个百分点。作者把这写成:视觉编码器看不见信号级痕迹,ATAR 把这件事外包给 22 个工具。

ATAR 分数据集(iF1 / ACC / pF1 / IoU):CASIA v1+ 0.929 / 0.924 / 0.681 / 0.624;CocoGlide 0.718 / 0.711 / 0.503 / 0.422;Coverage 0.715 / 0.680 / 0.545 / 0.509;Korus 0.696 / 0.639 / 0.348 / 0.252;Columbia 0.962 / 0.962 / 0.825 / 0.760;NIST16 0.690 / 0.561 / 0.484 / 0.408。Korus 的定位只有 0.348,不能用 78.5% 的平均分类分代替。

对照的平均分:TruFor 0.729 / 0.633 / 0.504 / 0.416;FakeShield 0.667 / 0.658 / 0.414 / 0.361,图像级 F1 落后 ATAR 11.8 个百分点;GPT-5.4 0.406 / 0.627 / 0.331 / 0.258;Gemini-2.5-Pro 0.516 / 0.652 / 0.321 / 0.249。专用检测器在分布内可以很高,跨集会掉。ForMa 在 CASIA v1+ 的 pF1 是 0.629,在 Columbia 掉到 0.001。SparseViT 在 Columbia 的 pF1 和 IoU 都是 0.000。

文档、Deepfake 和没训练过的 AIGC

文档定位是零样本,只看 pF1 和 IoU。ATAR 在 T-SROIE 是 0.210 / 0.140,在 FSTS-1.5k 是 0.520 / 0.450,平均 0.365 / 0.295。传统检测器里最高的 TruFor 平均只有 0.234 / 0.177,专用文档模型 APSC-Net 是 0.209 / 0.148,GPT-5.4 是 0.073 / 0.043,SIDA-7B 是 0.004 / 0.004。MVSS-Net、PSCC-Net、ForMa、SparseViT 的平均 pF1 分别是 0.074、0.183、0.113、0.062。只做 SFT 的 ATAR 平均已经有 0.354 / 0.283,强化学习再抬到 0.365 / 0.295。

Deepfake 用域内的 OpenForensics。ATAR 的 iF1 0.999、ACC 0.998,和 TruFor、ForMa、SparseViT 的分类打平;定位 pF1 0.616、IoU 0.520,比 TruFor 的 0.423 / 0.320 高 19.3 个 pF1 百分点。通用 MLLM 分类失败:GPT-5.4 的 iF1 只有 0.113,Qwen3-VL-8B 0.034,SIDA-7B 0.015。摘要里的「99.9% F1」指的是这一项分类,不是定位。

AIGC 用 GenImage++,五个生成器,ATAR 从未在 AIGC 数据上训练。平均 F1 0.870、ACC 0.822。Gemini-2.5-Pro 平均 F1 0.844、ACC 0.798,总体低于 ATAR,但不是每个生成器都输:SD 1.5 上 Gemini 的 F1 是 0.940,ATAR 0.925;SDXL 上 Gemini 0.974,ATAR 0.885。ATAR 在 SD 3、SD3-R、Flux 上反过来更高,分别是 0.830、0.882、0.828。专用检测器 DRCT 平均 F1 0.625,UnivFD 只有 0.106。ForMa 和 SparseViT 五个生成器的 F1 几乎都钉在 0.65 到 0.67,更像常数输出,不是分开了真假。

消融:随机工具比不用工具更差

表 6 是六套 IMDL 零样本平均。完整 ATAR 的 iF1 / ACC / pF1 / IoU / ToolAcc 是 0.785 / 0.746 / 0.564 / 0.496 / 0.720。ToolAcc 是打中 Top-3 最优工具的比例。去掉工具降到 0.751 / 0.714 / 0.476 / 0.410。随机塞一张热图更差,0.726 / 0.694 / 0.426 / 0.364,ToolAcc 0.045,比不用工具低 2.5 个 iF1 百分点。作者的解释是模型把无关高亮当成证据,然后高置信度判错。

只做 SFT,ToolAcc 41.8%,iF1 0.743。加上强化学习升到 72.0%。去掉工具先验课程后,ToolAcc 掉到 38.6%,比完整模型的 iF1 低 1.2 个百分点(0.756 对 0.785)。课程不衰减、一直给提示,ToolAcc 0.634,iF1 0.773,仍然低于逐步撤掉。只有逐步衰减同时保住选工具和泛化。

奖励拆开之后,各挡一种失败。去掉定位项 r2,模型倾向多报伪造,ACC 降 4.8 个百分点(0.698 对 0.746),因为可以靠分类项拿分而不把位置找准。去掉推理质量项 r3,iF1 只降 0.6 个百分点(0.779),但表 7 里真阳性幻觉从 7.2% 升到 21.6%,大约三倍。单一总分的 Holistic Reward 掉得不均匀:iF1 降 2.1 个百分点,pF1 降 6.2 个百分点,ToolAcc 降 12.2 个百分点(0.598 对 0.720)。作者说一个总分会被分类主导,定位和选工具分不到梯度。

解释质量:分类指标盖不住编造

200 张从六套零样本 IMDL 分层抽出的图,裁判是 Qwen3-VL-235B-A22B。裁判看到原图、真值标签和匿名解释;评 ATAR 时额外看到工具热图,用来核忠实度。四项 1 到 5 分:有据、一致、忠实、具体。幻觉率是至少有一处编造证据的解释比例,另报真阳性上的比例。50 张由 3 名标注员做人工核对,用 Fleiss' κ 和 Spearman ρ 对裁判。

ATAR:有据 4.18、一致 4.06、忠实 4.28、具体 3.96,平均 4.12;幻觉率全体 11.5%,真阳性 7.2%。去掉 r3:平均 3.33,真阳性幻觉 21.6%。FakeShield 平均 2.84,全体幻觉 38.5%,真阳性 29.2%。Gemini-2.5-Pro 平均 2.71,一致分 3.36 是非 ATAR 里最高的,有据只有 2.32、忠实 2.41,全体幻觉 44.0%,真阳性 34.8%。作者举例说它会写出「ELA 分析显示」,但并没有真正跑这个工具。人和裁判的 κ 在 0.54 到 0.72,ρ 在 0.74 到 0.86,忠实度的 ρ 最高,0.86。一致性的 κ 只有 0.54,不能把裁判分数当成人工满分。

工具选择上,强化学习之后各数据集的域分布会变。CASIA v1+ 的压缩工具从 SFT 的 32.4% 升到 46.3%,最优集命中从 62.8% 往上走;表 8 后半的命中率在原文续行里,不在这张表头已经列全的单元格里硬补。案例只说明模型可以放弃被工具否定的假设,并跨区域积累证据,没有给案例级准确率。

这些数字不能被读成什么

78.5% 是六套零样本 IMDL 的图像级 F1 平均,Korus 定位只有 34.8%。99.9% 是域内 Deepfake 分类,定位是 61.6%。87.0% 是没训练过的 AIGC 平均,SDXL 上 Gemini-2.5-Pro 更高。文档平均 pF1 只有 36.5%。裁判和师生是同一个 Qwen3-VL-235B 系列,人工只核了 50 张。ΔAUC 依赖训练集里成对的原图,部署时不一定有原图。最高 ΔAUC 低于 0.15 的样本被排除,难例不在工具训练里。致谢写了新加坡国家研究基金会 AI Singapore 计划和日本科学技术振兴机构的联合项目,蚂蚁数字科技是实习期间的支持方。没有线上业务拦截率,也没有第三方复测。

出处:蚂蚁集团,Zhiya Tan、Jing Huang、Changtao Miao、Lin Tan、Xin Zhang、Weiwei Feng、Jianshu Li、Joey Tianyi Zhou(Ant Group、南洋理工大学、新加坡科技设计大学、A*STAR、新加坡管理大学),Agentic Tool-Augmented Reasoning for Explainable Image Forgery Detection,2026-09-30,https://arxiv.org/abs/2609.39066

Found it useful? Pass it on

WeChat

Scan with WeChat to open it on your phone and forward it.

Subscribe via RSS

Submit a correction