MMEnterprise-Bench：评测不断演化的企业多模态记录

MMEnterprise-Bench：面向不断演化的多模态记录评测企业 Agent

Seohyun Lee†, Jongha Kim, Dohwan Ko, Ji Soo Lee, Seoung Choi, Jayun Ku, Hyunwoo J. Kim†

† 同等贡献。通讯作者：Hyunwoo J. Kim。

###### 摘要

企业 Agent 针对经由团队协作而不断演化的职场记录回答问题。 随着信息在文档、聊天和图之间被共享、纠正和修订，同一信息的多个版本在工作空间中累积。 因此，可靠的问答要求 Agent 基于充分证据进行推理、消解跨来源冲突与时间冲突，并识别现有证据何时不足以确立一个答案。 为了系统评测这些能力，我们提出 MMEnterprise-Bench，这一基准包含 1,613 个问题，这些问题基于来自模拟协作项目的、不断演化的多模态记录，覆盖三个类别：证据推理、冲突消解和不可回答性。 我们评测了 10 个专有和开源多模态 LLM，发现即使最强的模型，当证据包含跨来源冲突或时间冲突、或横跨多幅图像时，也会遇到困难。 此外，提高检索预算或采用更大的检索器能够改善证据召回，但并不能一致地转化为更高的答案准确率。 这些发现凸显了在不断演化的职场记录上进行推理所面临的持续挑战，并把 MMEnterprise-Bench 确立为开发更可靠企业 Agent 的测试床。代码和数据可在 https://mlvlab.github.io/MMEnterprise-Bench/ (https://mlvlab.github.io/MMEnterprise-Bench/) 获取。

1 引言

图 1： MMEnterprise-Bench 中不断演化的多模态记录之间的冲突。 企业 Agent 难以应对跨来源冲突（上）和时间冲突（下）；在跨来源冲突中，不同来源包含同一信息的不一致版本，在时间冲突中，记录随时间经历多次修订。

基于大语言模型（LLM）的企业 Agent 正越来越多地被采用，以针对企业工作空间回答问题；在这些工作空间中，知识分布于多样的来源，例如聊天、Email、图、报告和幻灯片。 随着团队进行协作，结果被共享、质疑和纠正，更新传播到后续来源，而更早的记录保持不变。 这一过程产生两种不同类型的冲突，如图 1 所示。 首先，当不同来源包含同一信息的不一致版本时，便产生跨来源冲突。 例如，一个准确率数值可能在 Slack 和 Email 中被纠正，并随后在一份修订后的数据表中得到更新，而 Notion 中更早的记录继续反映原始数值。 其次，当回答一个查询需要从某一特定历史状态恢复信息，而不是简单地使用其最新版本时，便产生时间冲突。 例如，用户可能会询问一份经历了多次修订的报告中、紧挨某一次特定修改之前的那个版本。 因此，企业 Agent 必须提供可靠的答案，这些答案不仅基于跨多模态来源的正确信息，而且基于其恰当的时间状态。

表 1： MMEnterprise-Bench 的任务分类体系。 八种任务类型归入三个类别：证据推理（ER）用于从充分证据中得出答案，冲突消解（CR）用于消解相互冲突的证据，不可回答性（UNS）用于识别因证据不足而无法回答的问题。

在这些挑战的基础上，我们评测企业 Agent 的三项关键能力，即：（1）证据推理（ER）：基于企业记录中的充分证据作答；（2）冲突消解（CR）：消解证据中的跨来源冲突和时间冲突；（3）不可回答性（UNS）：识别现有证据何时不足以确立一个答案。 这些能力在多模态企业工作空间中尤其具有挑战性；在这类工作空间中，相关证据可能出现在图中，而随后的纠正则通过文本记录来传达。 尽管近期的企业问答基准模拟了职场语料库（Choubey et al., 2025; Sun et al., 2026），现有工作并未明确处理那些跨越多样多模态来源及其演化记录而产生的冲突。

为此，我们提出 MMEnterprise-Bench，它包含 1,613 个问答对，这些问答对针对在不同来源之间被修订的、不断演化的多模态职场记录，其中包括明确针对其修订历史的问题。 MMEnterprise-Bench 沿三个维度评测企业 Agent，涵盖八种子任务类型，如表 1 所总结。 我们通过模拟协作式企业工作空间来构建该基准，这些工作空间跨越 30 个项目，项目基于来自公开论文和报告的文本材料与视觉材料。 在每个项目内部，协作事件，例如结果共享、错误检测和纠正，通过消息、Email、会议纪要、追踪器、报告以及包含图和表的幻灯片加以实例化。 关键的是，各模态上更早的记录被保留而不是被覆盖，从而使已被取代的数值在一个由 7,140 条文本记录与视觉记录构成、并在各项目间共享的检索语料库中仍然可被访问。 这一设计既保留了跨来源的不一致证据，也保留了同一信息的多个时间状态，从而实例化了跨来源冲突和时间冲突。

我们在检索增强生成（RAG）设定下，把 10 个专有和开源多模态 LLM 作为企业 Agent，在模拟的企业记录上进行评测。 最强的模型 GPT-5.6 Sol 在检索到 10 条和 50 条记录时，准确率分别仅为 52.6% 和 68.0%。 CR 类别上的表现仍然特别低，在跨来源冲突上为 11.8% 至 36.3%，在时间冲突上为 13.2% 至 33.5%。 当回答问题需要跨多个视觉来源进行推理时，表现进一步下降。 GPT-5.6 Sol 在需要多幅图像的问题上仅为 27.5%，相比之下，在基于单条文本记录的问题上为 83.3%。 这些发现凸显了当前企业 Agent 在消解跨来源、并随时间变化的冲突证据方面的局限，以及在跨多条视觉记录进行推理方面的局限。

总结而言，我们的主要贡献如下： （1）我们提出 MMEnterprise-Bench，这一基准包含 1,613 个问题，这些问题基于不断演化的多模态职场记录，并特别关注其修订历史。 （2）MMEnterprise-Bench 评测企业 Agent 的三项关键能力：证据推理、冲突消解和不可回答性，捕捉不断演化的多模态来源之间的跨来源冲突和时间冲突。 （3）我们评测了 10 个企业 Agent，发现即使最强的模型也远远达不到可靠表现，尤其是当证据包含跨来源冲突或时间冲突、或横跨多条视觉记录时。

2 相关工作

表 2： 与现有基准的比较。

图 2： MMEnterprise-Bench 构建流水线。 每份种子文档充当一个项目的信息来源。 基于所抽取的信息以及该项目的上下文，我们随时间生成协作事件及其相应记录。 这些项目共同形成一个由不断演化的多模态记录构成的共享工作空间，这些记录包含跨来源冲突和时间冲突。 然后我们生成并验证基于该工作空间的问题，以评测证据推理、冲突消解和不可回答性。

面向文档理解的多模态模型。 文档理解已通过对扫描文档、信息图、图表和幻灯片进行视觉问答而得到广泛研究（Mathew et al., 2021; Mathew et al., 2022; Masry et al., 2022; Tanaka et al., 2023）。 后续基准把这一设定扩展到多页和长文档场景，要求模型跨页面、表格和图来定位并整合证据（Tito et al., 2023; Van Landeghem et al., 2023; Ma et al., 2024; Deng et al., 2025）。 在这些基准设定中，通用多模态 LLM 通过直接处理文本密集的图像以及很长的交错多模态输入，已经展现出强劲的表现（Liu et al., 2023; Bai et al., 2025; Wang et al., 2025b）。 更近一些，智能体式方法进一步把文档问答分解为多阶段流水线，涉及检索、视觉检查和跨模态证据聚合，由一个或多个模型来执行（Han et al., 2025; Wang et al., 2025a）。

企业问答基准。 企业问答要求把答案建立在私有的、异构的职场记录之上，这些记录往往是冗余且未经整理的。 近期基准使用合成文档、聊天、Email、会议和工单来模拟此类环境（Choubey et al., 2025; Sun et al., 2026; Varhade et al., 2026; Vishwakarma et al., 2025; Abaskohi et al., 2026），但它们大体上仅有文本，并且很少把修订记录的更早状态当作有效答案。 例如，EnterpriseRAG-Bench（Sun et al., 2026）引入了事实被改动的近重复项，但只接受最新数值为正确，而 WinSyn（Varhade et al., 2026）纳入了纠正链干扰项，却并不改变金标准答案。 职场 Agent 基准（Drouin et al., 2024; Styles et al., 2024; Xu et al., 2025; Huang et al., 2025）则强调基于工具的任务完成，而不是基于证据的问答。 时间知识基准（Chen et al., 2021; Zhang and Choi, 2021; Vu et al., 2024; Wu et al., 2025; Sobhani et al., 2026; Huwiler et al., 2025）评测事实随时间的有效性，但主要针对公共知识、个人对话或正式版本化的文档，并且仅限于文本。 相比之下，如表 2 所总结，MMEnterprise-Bench 在基于真实文档的多模态职场记录上同时评测跨来源冲突和时间冲突；在这些记录中，协作性修订散布于不同来源和模态，同时保留更早的状态，而这些更早状态本身就可能构成有效答案。

3 MMEnterprise-Bench

MMEnterprise-Bench 评测针对一个由不断演化的多模态记录构成的共享工作空间所进行的问答。 我们首先描述模拟企业工作空间及其标注的构建，如图 2 所示。 然后我们呈现用于改进标注质量的流程，并报告标注统计。

3.1 企业工作空间模拟

在 MMEnterprise-Bench 中，「记录」表示模拟协作期间产生的单个条目，例如一条消息、一封 Email 或一幅图。 「项目」是一次模拟协作的基础，基于从公开论文和报告中抽取的 30 份种子文档之一，并包含多样的协作「事件」。 「工作空间」汇聚来自所有项目的记录，代表整个模拟企业，并作为评测所用的共享检索语料库。

多模态记录生成。 我们从每份种子文档中抽取文本、表格和图，并将其关键数值、配置、论断和视觉信息加以结构化。 所抽取的方法和结果用作构建异构职场记录的技术内容，这些记录包括消息、Email、会议纪要和附件。 对于视觉产物，我们复用种子文档中的图，根据结构化数值渲染表格和图表，并组合报告和幻灯片。

项目内的协作事件生成。 事件是由指定的协作者在指定时间执行的职场动作，例如报告一项结果、识别一处错误、发出一次纠正或做出一项决定。 事件充当规划单元，而记录是它们的实现，例如，一次结果共享事件可以被实现为一条附有表格的消息。 基于这一区分，一个 LLM 规划信息在整个项目中如何被引入、共享和修订，包括结果发布、纠正、工作状态的变化和文档修订，并把这些发展表示为协作事件。 然后我们按时间顺序组织这些事件。 例如，一个典型序列可能涉及协作者共享一个不正确的数值、检测并确认该错误，并随后报告纠正后的数值。 总体而言，这些事件定义了每个项目内各记录之间的时间次序和内容关系。

工作空间构建。 工作空间充当所有项目在其中发生的环境。 对于每个项目，我们创建一个团队，并指定角色、沟通渠道、访问关系和截止日期，它们共同约束由谁执行每个事件、事件何时发生，以及由此产生的记录出现在何处。 这一工作空间层面的结构使协作事件基于现实的组织约束和访问约束。 更早的记录和文档版本在修订之后被保留而不是被覆盖，从而既保留历史状态，也保留变化随时间的推进。

表 3： MMEnterprise-Bench 的统计。 我们报告（a）语料库统计，（b）按来源类型划分的检索记录，（c）按类别划分的问题分布，以及（d）证据构成。

3.2 问答标注

任务类型。 MMEnterprise-Bench 沿三个维度评测企业 Agent：证据推理（ER）、冲突消解（CR）和不可回答性（UNS），它们进一步被划分为八种任务类型，如表 1 所示。 ER 涵盖由企业记录中充分且不相互冲突的证据所支持的问题，并包含五种任务类型：抽取识别在文本、表格或图中被明确陈述的实体或数值；归因识别与该信息相关联的来源或责任方；计算计算数值；比较识别差异或排序；阐释评估意涵或论断。 CR 涵盖涉及同一信息的相互冲突版本的问题，并包含两种任务类型：跨来源识别跨来源的不一致记述并确定哪个数值适用，而时间恢复某一指定时间的数值并追踪其修订。 UNS 涵盖现有证据不足以确立一个答案的问题，要求 Agent 识别缺失的信息或得不到支持的前提。 总体而言，这些类别使得能够对不断演化的职场记录上的问答进行全面评测，涵盖基于证据的推理、消解跨来源冲突和时间冲突，以及识别现有证据何时不足以确立一个答案。

问题生成。 我们把基于规则的生成和基于 LLM 的生成结合起来，以针对每个项目的记录构建问题。 当问题和答案可以直接从结构化的项目信息中导出时，使用基于规则的生成。 对于需要对记录内容及其关系进行推理的、更多样的问题，我们向一个 LLM 提供项目记录以及特定于任务的生成指令。 该 LLM 联合生成问题、参考答案、分步解答以及支持性记录。 所有问题都被设计为反映合理的职场信息需求，并且其参考答案必须基于相应的项目记录。 对于 UNS 类别，我们还通过扰动可回答的问题来生成示例。 具体而言，我们修改一个可回答问题中的一个有意义的实体或条件，并且只保留那些无法从完整的项目记录集合中得到回答的候选。 每种任务类型的一个代表性示例问题在表 1 中给出。

金标准证据标注。 每个可回答问题都配有一个参考答案和作为依据的记录，即金标准证据。 在评测期间，LLM 助手从工作空间语料库中检索单条记录，这些记录随后被作为回答该问题的上下文加以提供。 为支持细粒度评测，我们标注金标准证据记录的数量和来源类型，以及它们在模态方面的构成。

表 4： 盲法人工验证的结果。 每个问题由三名标注者独立审阅。 我们报告未被任何标注者拒绝的问题所占比例，以及被至少一名标注者拒绝的问题所占比例。

表 5： MMEnterprise-Bench 上的结果。 针对 $k=10$ 和 $k=50$ 条检索记录报告准确率（%）。 对于每个 $k$，每一列中的最佳结果以粗体显示，次佳结果加下划线。

3.3 质量控制与人工验证

我们通过一条多阶段流水线来验证问答标注，该流水线包含相互独立的、基于 LLM 的评估，并辅以盲法人工验证。 对于记录，验证检查其与源信息以及所规划事件的一致性，包括时间约束和访问约束。 对于问答标注，验证核实被引用的证据是否足以导出参考答案，并检查含糊的问题、不正确的参考答案和答案泄露。 未通过验证的标注会被修订或丢弃。 验证所用提示在附录 C.2 中给出。

为评估我们基于 LLM 的验证的可靠性，我们对一个包含 100 条问答标注的子集进行人工验证，其中包含 50 条被 LLM 接受的标注和 50 条被 LLM 拒绝的标注。 三名标注者在无法获知 LLM 判定的情况下审阅每个条目。 如果至少有一名标注者拒绝某个条目，我们便把该条目归类为人工拒绝。 如表 4 所示，50 条被 LLM 接受的条目中，没有任何一条被任何标注者拒绝，并且全部 29 条被人工拒绝的条目也都被 LLM 拒绝。 这些结果表明，我们基于 LLM 的验证与人工判断相一致，同时采用了更为保守的接受标准。

3.4 数据集统计

该基准包含跨越 30 个项目和 7,140 条检索记录的 1,613 个问题，其中包括 5,725 条文本记录和 1,415 条视觉记录。 视觉记录包括 658 个 PDF 页面、372 份幻灯片，以及 385 幅独立图像或附件。 该语料库还包含 287 个记录版本，其中包括 204 个 PDF 和 60 份演示文稿。 每个项目包含 203 $\sim$ 274 条记录，中位数为 237。 该问题集在三个评测维度上包含 1,526 个可回答问题和 87 个不可回答问题。 对于可回答问题，金标准证据平均每个问题包含 1.94 个检索单元，其中 749 个问题需要一个单元，495 个问题需要两个单元，282 个问题需要三个或更多单元。 此外，461 个可回答问题（30.2%）跨越多种来源类型。 详细统计在表 3 中给出。

4 实验

4.1 实验设置

我们使用 $k\in\{10,50\}$ 条检索记录来评测 10 个开源和专有模型。 对于每个问题，Qwen3-VL-Embedding-2B（Li et al., 2026）从工作空间中检索 top-$k$ 条记录，这些记录随后按时间戳和 ID 排序后呈现给模型。 为确保评测一致，我们使用 GPT-5.6 Luna 作为自动评判者，并给定问题、参考答案和模型回复。 我们报告全部 1,613 个问题上的总体准确率和任务级准确率。

4.2 主要结果

表 3.2 报告了开源模型和专有模型在不同检索记录数量下于 MMEnterprise-Bench 上的表现。 GPT-5.6 Sol 在两种检索设定下都取得最高的总体准确率，但在 $k=50$ 时仅达到 68.0%，仍留有相当大的改进空间。 在同一设定下，Gemini 3.8 Flash 和 Gemini 3.1 Pro 分别达到 63.9% 和 62.5%。 最强的开源模型 Qwen3.5-27B 达到 50.3%，揭示出与最强专有模型之间的相当大差距。

把检索记录的数量从 $k=10$ 增加到 $50$，使 GPT-5.6 Sol 从 52.6% 提高到 68.0%，使 Qwen3.5-27B 从 38.6% 提高到 50.3%，而 Qwen3.5-2B 和 Kimi-VL 则几乎没有变化。 这些趋势表明，更强的模型更能利用额外检索到的证据，而较弱的模型在对更大的记录集合进行联合推理方面仍然有限。

尽管取得了最高的总体准确率，GPT-5.6 Sol 在不可回答问题上的准确率仅为 65.5%，相比之下，Gemini 3.8 Flash 为 87.4%，Qwen3.5-27B 为 75.9%，Qwen3.5-9B 为 73.6%。 这一发现表明，强的总体推理表现并不必然转化为识别现有记录何时不足以确立一个答案的能力。 因此，准确识别此类情形对于可靠的职场问答是必要的，并促使 MMEnterprise-Bench 对不可回答问题进行显式评测。

表 6： 按金标准证据记录的数量和模态划分的问答准确率。

任务级分解进一步揭示，错误集中于 CR 类别，涉及跨来源的记录以及随时间演化的记录。 在 $k=10$ 时，GPT-5.6 Sol 在抽取问题上取得相对较高的准确率（67.5%），这些问题要求识别检索记录中的显式信息。 相比之下，在 CR 类别之内，它在跨来源冲突上的准确率仅为 36.3%，在时间冲突上仅为 32.5%。 这些结果表明，除了检索相关记录之外，模型还必须通过同时考虑到跨来源的冲突以及职场记录中的时间变化，来识别恰当的证据，这凸显了 MMEnterprise-Bench 所捕捉的真实世界企业挑战。

表 7： 在不同检索记录数量和检索器规模下的结果。

4.3 金标准证据记录分析

我们在 $k=10$ 的检索条件下，按每个问题所需的金标准证据记录的数量和模态来分析表现。

按所需金标准证据记录数量划分的结果。 表 4.2 表明，对于仅文本的问题和仅图像的问题，当需要多条证据记录时，所有受评测模型的表现都比单条记录即已足够时更差。 对于 GPT-5.6 Sol，当从单条记录的证据变为多条记录的证据时，仅文本问题的准确率从 83.3% 下降到 51.5%，仅图像问题的准确率从 52.9% 下降到 27.5%。 这些差距表明，即便强大的企业 Agent，也难以识别、聚合分布在多条记录中的证据，并对其进行联合推理。

图 3：定性分析。 涉及不断演化的职场记录中跨来源冲突（左）和时间冲突（右）的代表性失败案例。

按金标准证据模态划分的结果。 除所需记录的数量之外，表 4.2 表明，它们的模态引入了一个额外的困难来源。 对于 GPT-5.6 Sol，单条记录问题上的准确率在文本证据下为 83.3%，但在视觉证据下仅为 52.9%。 这一差距在多条记录的问题上仍然存在：仅文本证据的准确率为 51.5%，仅图像证据为 27.5%，文本与图像混合证据为 25.6%。 其他模型在涉及视觉证据或混合模态证据的多条记录问题上呈现出类似的下降。 这些结果表明，除了跨记录聚合信息之外，对多模态证据进行推理，对于 MMEnterprise-Bench 上的企业 Agent 而言仍然是一项重大挑战。

4.4 记录检索分析

在表 4.2 中，我们把检索记录的数量 $k$ 扩大到最多 100，并把检索器规模扩大到最多 8B。 我们首先考察，随着证据召回提高，检索更多记录是否会改善问答准确率。 尽管增大 $k$ 会一致地提高证据召回，但它并不总是改善问答准确率。 在使用 2B 检索器时，把 $k$ 从 50 增加到 100，使召回从 57.0% 提高到 64.8%，而 Qwen3.5-2B 的准确率从 25.0% 下降到 22.2%。 类似地，在使用 8B 检索器时，召回从 59.6% 提高到 67.3%，而 InternVL3.5-8B 的准确率从 38.0% 下降到 37.6%。

我们接下来通过比较 2B 检索器和 8B 检索器，来核实检索器规模的影响。 与 2B 检索器相比，8B 检索器一致地取得更高的召回，在 $k=10$、$50$ 和 $100$ 时的增益分别为 1.7%、2.6% 和 2.5%。 然而，这些召回增益并不能一致地转化为更高的问答准确率。 在 $k=100$ 时，GPT-5.6 Sol 借助更大的检索器从 75.9% 提高到 77.2%，而 Qwen3.5-4B 从 46.9% 下降到 46.6%。 总体而言，这些结果表明，对于较小的模型，仅有更高的证据召回并不足以确保问答表现得到改善。

4.5 定性分析

图 3 展示了两个涉及跨来源冲突和时间冲突的代表性案例。

跨来源冲突。 在图 3（左）中，纠正通过 Slack 和修订后的文档来传达，而相应的 Notion 记录在不同时间被更新，从而在工作空间中留下多个相互冲突的数值。 一次访谈计数在一份修订后的备忘录中从 43 被纠正为 34，该备忘录还引入了一个值为 23 的新证据行。 与此同时，相应的 Notion 条目一直保留更早的值 32，直到后来的一次更新。 该问题明确要求新增行中的值，这要求模型跨来源追踪修订，并把目标值与其他相关更新区分开来，而不是简单地检索一个相匹配的数字。 即便是我们评测中表现最强的模型 GPT-5.6 Sol，也错误地回答 34 而不是 23。

时间冲突。 图 3（右）呈现一个截止日期，它从 9 月 1 日 20:00 被修订为 9 月 2 日 18:00，两个值都被保留在对话历史中。 这两个问题分别要求当前截止日期，以及紧挨该次修订之前的截止日期。 虽然该模型正确回答了第一个问题，它对第二个问题返回的却是修订后的截止日期，尽管更早的值在记录中是可获得的。 这些失败凸显了如下困难：在相互冲突的记录之中识别恰当的证据，以及当多个历史版本仍然可被访问时，恢复问题所指定的时间状态。

5 结论

我们提出 MMEnterprise-Bench，这是一个用于评测针对不断演化的多模态职场记录进行问答的基准。 它包含跨越 30 个模拟协作项目的 1,613 个问题，这些项目基于公开论文和报告，并覆盖三个评测维度：证据推理（ER）、冲突消解（CR）和不可回答性（UNS）。 我们对 10 个专有和开源企业 Agent 的全面评测揭示出持续存在的挑战：跨记录和模态整合证据、消解跨来源冲突和时间冲突，以及识别不充分的信息。 此外，检索上的改进并不能一致地转化为更好的问答表现，这凸显了需要能够对多模态证据和不断演化的记录状态进行推理的模型。 MMEnterprise-Bench 提供了一个测试床，用于开发能够在职场信息不断演化时回答问题的可靠企业助手。

局限性

MMEnterprise-Bench 使用基于 30 篇公开论文和报告的模拟职场记录。尽管其设计旨在反映现实的职场协作，这些记录可能无法捕捉真实企业环境的每一个方面。 人工验证显示，对于被 LLM 接受的标注具有高度一致，不过基于 LLM 的生成和验证仍可能留下残余错误。

伦理考量

MMEnterprise-Bench 旨在通过在模拟职场记录上的评测，来支持可靠的企业助手。 基准表现并不能保证在真实部署中的可靠性；在真实部署中，隐私、访问控制和人工监督仍然重要。

该基准以公开论文和报告为依据，来源与许可信息见附录 A。 复用和分发必须遵守适用的许可与署名要求。职场通信是模拟的，人工验证由作者完成，没有招募外部标注者。

如第 3 节以及附录 B、C 和 D 所述，LLM 被用于数据生成、验证和答案评估。 AI 辅助也被用于起草和修改论文文本，并协助代码开发。作者对全部内容、代码、结果和主张负责。

参考文献

• Abaskohi et al. (2026)

A. Abaskohi, T. Chen, M. Muñoz-Mármol, C. Fox, A. V. Ramesh, É. Marcotte, X. H. Lù, N. Chapados, S. Gella, C. Pal, et al.

Drbench: a realistic benchmark for enterprise deep research. 面向企业深度研究的真实场景基准。

收录于 ICLR，

被引于：§2.

• Autio et al. (2024)

C. Autio, R. Schwartz, J. Dunietz, S. Jain, M. Stanley, E. Tabassi, P. Hall, and K. Roberts

Artificial intelligence risk management framework: generative artificial intelligence profile. 人工智能风险管理框架：生成式人工智能概况。

技术报告

技术报告 NIST AI 600-1, National Institute of Standards and Technology.

外部链接：文档 (https://dx.doi.org/10.6028/NIST.AI.600-1)

被引于：Table 1.

• Bai et al. (2025)

S. Bai, Y. Cai, R. Chen, K. Chen, X. Chen, Z. Cheng, L. Deng, W. Ding, C. Gao, C. Ge, et al.

Qwen3-vl technical report. Qwen3-VL 技术报告。

arXiv 预印本 arXiv:2511.21631.

被引于：§2.

• Cattan et al. (2025)

A. Cattan, A. Jacovi, O. Ram, J. Herzig, R. Aharoni, S. Goldshtein, E. Ofek, I. Szpektor, and A. Caciularu

Dragged into conflicts: detecting and addressing conflicting sources in search-augmented llms. 卷入冲突：检测并应对搜索增强大语言模型中的冲突来源。

arXiv 预印本 arXiv:2506.08500.

被引于：Table 2.

• Chen et al. (2021)

W. Chen, X. Wang, and W. Y. Wang

A dataset for answering time-sensitive questions. 用于回答时间敏感问题的数据集。

收录于 NeurIPS，

被引于：§2.

• Choubey et al. (2025)

P. K. Choubey, X. Peng, S. Bhagavath, K. Huang, C. Xiong, and C. Wu

Benchmarking deep search over heterogeneous enterprise data. 面向异构企业数据的深度搜索评测。

收录于 EMNLP Industry Track，

被引于：§1, Table 2, §2.

• Congressional Budget Office (2025a)

Congressional Budget Office

An update to the demographic outlook, 2025 to 2055. 人口展望更新，2025 年至 2055 年。

技术报告

Congressional Budget Office.

外部链接：链接 (https://www.cbo.gov/publication/61390)

被引于：Table 1.

• Congressional Budget Office (2025b)

Congressional Budget Office

The demographic outlook: 2025 to 2055. 人口展望：2025 年至 2055 年。

技术报告

Congressional Budget Office.

外部链接：链接 (https://www.cbo.gov/publication/60875)

被引于：Table 1.

• Congressional Budget Office (2025c)

Congressional Budget Office

The long-term budget outlook: 2025 to 2055. 长期预算展望：2025 年至 2055 年。

技术报告

Congressional Budget Office.

外部链接：链接 (https://www.cbo.gov/publication/61187)

被引于：Table 1.

• Congressional Budget Office (2026a)

Congressional Budget Office

Federal subsidies for health insurance, 2026 to 2036. 健康保险的联邦补贴，2026 年至 2036 年。

技术报告

Congressional Budget Office.

外部链接：链接 (https://www.cbo.gov/publication/62539)

被引于：Table 1.

• Congressional Budget Office (2026b)

Congressional Budget Office

The budget and economic outlook: 2026 to 2036. 预算与经济展望：2026 年至 2036 年。

技术报告

Congressional Budget Office.

外部链接：链接 (https://www.cbo.gov/publication/61882)

被引于：Table 1.

• Dalavong and Choi (2024)

P. Dalavong and C. G. Choi

Commuting paradox of the technopole newtown: a case study in the seoul metropolitan area. 技术极新城的通勤悖论：首尔都市圈案例研究。

Plos one 19 (7), pp. e0306304.

被引于：Table 1.

• Deng et al. (2025)

C. Deng, J. Yuan, P. Bu, P. Wang, Z. Li, J. Xu, X. Li, Y. Gao, J. Song, B. Zheng, et al.

Longdocurl: a comprehensive multimodal long document benchmark integrating understanding, reasoning, and locating. LongDocURL：融合理解、推理与定位的综合性多模态长文档基准。

收录于 ACL，

被引于：§2.

• Department for Business and Trade (2023)

Department for Business and Trade

UK battery strategy. 英国电池战略。

注释：GOV.UK

外部链接：链接 (https://www.gov.uk/government/publications/uk-battery-strategy)

被引于：Table 1.

• Department for Science, Innovation and Technology (2024)

Department for Science, Innovation and Technology

Introduction to AI assurance. 人工智能保障导论。

注释：GOV.UK

外部链接：链接 (https://www.gov.uk/government/publications/introduction-to-ai-assurance)

被引于：Table 1.

• Department for Science, Innovation and Technology (2025)

Department for Science, Innovation and Technology

AI opportunities action plan. 人工智能机遇行动计划。

注释：GOV.UK

外部链接：链接 (https://www.gov.uk/government/publications/ai-opportunities-action-plan)

被引于：Table 1.

• Department for Transport (2025a)

Department for Transport

Maritime decarbonisation strategy. 海事脱碳战略。

注释：GOV.UK

外部链接：链接 (https://www.gov.uk/government/publications/maritime-decarbonisation-strategy)

被引于：Table 1.

• Department for Transport (2025b)

Department for Transport

Net zero ports: challenges and opportunities (Call for evidence). 净零港口：挑战与机遇（证据征集）。

注释：GOV.UK

外部链接：链接 (https://www.gov.uk/government/calls-for-evidence/net-zero-ports-challenges-and-opportunities)

被引于：Table 1.

• Drouin et al. (2024)

A. Drouin, M. Gasse, M. Caccia, I. H. Laradji, M. Del Verme, T. Marty, L. Boisvert, M. Thakkar, Q. Cappart, D. Vazquez, et al.

WorkArena: how capable are web agents at solving common knowledge work tasks?. WorkArena：网页智能体解决常见知识工作任务的能力如何？

收录于 ICML，

被引于：§2.

• Han et al. (2025)

S. Han, P. Xia, R. Zhang, T. Sun, Y. Li, H. Zhu, and H. Yao

Mdocagent: a multi-modal multi-agent framework for document understanding. MDocAgent：面向文档理解的多模态多智能体框架。

arXiv 预印本 arXiv:2503.13964.

被引于：§2.

• Huang et al. (2025)

K. Huang, A. Prabhakar, S. Dhawan, Y. Mao, H. Wang, S. Savarese, C. Xiong, P. Laban, and C. Wu

Crmarena: understanding the capacity of llm agents to perform professional crm tasks in realistic environments. CRMArena：理解大语言模型智能体在真实环境中执行专业客户关系管理任务的能力。

收录于 NAACL，

被引于：§2.

• Huwiler et al. (2025)

D. Huwiler, K. Stockinger, and J. Fürst

VersionRAG: version-aware retrieval-augmented generation for evolving documents. VersionRAG：面向演化文档的版本感知检索增强生成。

arXiv 预印本 arXiv:2510.08109.

被引于：§2.

• Kim et al. (2026a)

J. Kim, M. Bae, S. Lee, J. Yoon, and H. J. Kim

Tabflash: efficient table understanding with progressive question conditioning and token focusing. TabFlash：基于渐进式问题条件化与词元聚焦的高效表格理解。

收录于 AAAI，

被引于：Table 1.

• Kim et al. (2026b)

J. Kim, B. Ko, J. Na, J. Yoon, and H. J. Kim

Relevance-aware multi-context contrastive decoding for retrieval-augmented visual question answering. 面向检索增强视觉问答的相关性感知多上下文对比解码。

收录于 WACV，

被引于：Table 1.

• Ko et al. (2023)

D. Ko, J. Lee, W. Kang, B. Roh, and H. Kim

Large language models are temporal and causal reasoners for video question answering. 大语言模型是视频问答中的时序与因果推理者。

收录于 EMNLP，

被引于：Table 1.

• Ko et al. (2025)

D. Ko, J. S. Lee, M. Choi, Z. Meng, and H. J. Kim

Bidirectional likelihood estimation with multi-modal large language models for text-video retrieval. 面向文本—视频检索的多模态大语言模型双向似然估计。

收录于 ICCV，

被引于：Table 1.

• Ko et al. (2026)

D. Ko, J. Park, S. Choi, S. Lee, S. Lee, and H. J. Kim

MoE-grpo: optimizing mixture-of-experts via reinforcement learning in vision-language models. MoE-GRPO：通过强化学习优化视觉语言模型中的混合专家。

收录于 CVPR，

被引于：Table 1.

• Lee et al. (2025)

J. S. Lee, J. Kim, J. Na, J. Park, and H. J. Kim

VidChain: chain-of-tasks with metric-based direct preference optimization for dense video captioning. VidChain：面向密集视频描述的、基于度量的直接偏好优化任务链。

收录于 AAAI，

被引于：Table 1.

• Lee et al. (2026)

S. Lee, S. Choi, D. Ko, J. Kim, and H. J. Kim

VideoSearch-r1: iterative video retrieval and reasoning via soft query refinement. VideoSearch-R1：通过软查询细化进行迭代式视频检索与推理。

收录于 ECCV，

被引于：Table 1.

• Li et al. (2026)

M. Li, Y. Zhang, D. Long, K. Chen, S. Song, S. Bai, Z. Yang, P. Xie, A. Yang, D. Liu, et al.

Qwen3-vl-embedding and qwen3-vl-reranker: a unified framework for state-of-the-art multimodal retrieval and ranking. Qwen3-VL-Embedding 与 Qwen3-VL-Reranker：先进多模态检索与排序的统一框架。

arXiv 预印本 arXiv:2601.04720.

被引于：§4.1.

• Liu et al. (2023)

H. Liu, C. Li, Q. Wu, and Y. J. Lee

Visual instruction tuning. 视觉指令微调。

收录于 NeurIPS，

被引于：§2.

• Ma et al. (2024)

Y. Ma, Y. Zang, L. Chen, M. Chen, Y. Jiao, X. Li, X. Lu, Z. Liu, Y. Ma, X. Dong, et al.

Mmlongbench-doc: benchmarking long-context document understanding with visualizations. MMLongBench-Doc：带可视化内容的长上下文文档理解评测。

收录于 NeurIPS，

被引于：Table 2, §2.

• Masry et al. (2022)

A. Masry, X. L. Do, J. Q. Tan, S. Joty, E. Hoque, et al.

Chartqa: a benchmark for question answering about charts with visual and logical reasoning. ChartQA：面向图表视觉与逻辑推理问答的基准。

收录于 ACL Findings，

被引于：§2.

• Mathew et al. (2022)

M. Mathew, V. Bagal, R. Tito, D. Karatzas, E. Valveny, and C. Jawahar

Infographicvqa. 信息图视觉问答。

收录于 WACV，

被引于：§2.

• Mathew et al. (2021)

M. Mathew, D. Karatzas, and C. Jawahar

Docvqa: a dataset for vqa on document images. DocVQA：面向文档图像视觉问答的数据集。

收录于 WACV，

被引于：§2.

• McCarthy et al. (2024)

O. S. McCarthy, M. Winston Pomeroy, and J. E. Smith

Corals that survive repeated thermal stress show signs of selection and acclimatization. 经受反复热胁迫后仍存活的珊瑚呈现出选择与驯化迹象。

Plos one 19 (7), pp. e0303779.

被引于：Table 1.

• Nair et al. (2024)

M. Nair, P. Svedberg, I. Larsson, and J. M. Nygren

A comprehensive overview of barriers and strategies for ai implementation in healthcare: mixed-method design. 医疗保健中人工智能实施的障碍与策略综合综述：混合方法设计。

Plos one 19 (8), pp. e0305949.

被引于：Table 1.

• Pascoe et al. (2024)

C. Pascoe, S. Quinn, and K. Scarfone

The NIST cybersecurity framework (CSF) 2.0. NIST 网络安全框架（CSF）2.0。

NIST 网络安全白皮书

技术报告 NIST CSWP 29, National Institute of Standards and Technology.

外部链接：文档 (https://dx.doi.org/10.6028/NIST.CSWP.29)

被引于：Table 1.

• Qwen Team (2026)

Qwen Team

Qwen3.5: towards native multimodal agents. Qwen3.5：迈向原生多模态智能体。

注释：https://qwen.ai/blog?id=qwen3.5 (https://qwen.ai/blog?id=qwen3.5)

被引于：Figure 1, §A.1.

• Sobhani et al. (2026)

M. E. Sobhani, M. F. A. Sayeedi, F. H. Chowdhury, M. A. Arefeen, F. Sadeque, M. F. Bari, and S. Shatabda

Time present and time past: benchmarking large language models on temporally evolving document understanding. 现在与过去：面向随时间演化的文档理解的大语言模型评测。

arXiv 预印本 arXiv:2608.08512.

被引于：Table 2, §2.

• Souppaya et al. (2022)

M. Souppaya, K. Scarfone, and D. Dodson

Secure software development framework (SSDF) version 1.1: recommendations for mitigating the risk of software vulnerabilities. 安全软件开发框架（SSDF）1.1 版：缓解软件漏洞风险的建议。

NIST 特别出版物

技术报告 NIST SP 800-218, National Institute of Standards and Technology.

外部链接：文档 (https://dx.doi.org/10.6028/NIST.SP.800-218)

被引于：Table 1.

• Styles et al. (2024)

O. Styles, S. Miller, P. Cerda-Mardini, T. Guha, V. Sanchez, and B. Vidgen

Workbench: a benchmark dataset for agents in a realistic workplace setting. Workbench：面向真实职场环境中智能体的基准数据集。

arXiv 预印本 arXiv:2405.00823.

被引于：§2.

• Sun et al. (2026)

Y. Sun, J. Rahmfeld, C. Weaver, W. Chen, R. Desai, W. Huang, and M. H. Butler

EnterpriseRAG-bench: a rag benchmark for company internal knowledge. EnterpriseRAG-Bench：面向企业内部知识的检索增强生成基准。

arXiv 预印本 arXiv:2605.05253.

被引于：§1, Table 2, §2.

• Tanaka et al. (2023)

R. Tanaka, K. Nishida, K. Nishida, T. Hasegawa, I. Saito, and K. Saito

Slidevqa: a dataset for document visual question answering on multiple images. SlideVQA：面向多图像文档视觉问答的数据集。

收录于 AAAI，

被引于：§2.

• Tito et al. (2023)

R. Tito, D. Karatzas, and E. Valveny

Hierarchical multimodal transformers for multipage docvqa. 面向多页文档视觉问答的层次化多模态 Transformer。

Pattern Recognition.

被引于：§2.

• U.S. Government Accountability Office (2021)

U.S. Government Accountability Office

Artificial intelligence: an accountability framework for federal agencies and other entities. 人工智能：面向联邦机构及其他实体的问责框架。

技术报告

技术报告 GAO-21-519SP, U.S. Government Accountability Office.

外部链接：链接 (https://www.gao.gov/products/gao-21-519sp)

被引于：Table 1.

• U.S. Government Accountability Office (2025a)

U.S. Government Accountability Office

Artificial intelligence: generative AI use and management at federal agencies. 人工智能：联邦机构中生成式人工智能的使用与管理。

技术报告

技术报告 GAO-25-107653, U.S. Government Accountability Office.

外部链接：链接 (https://www.gao.gov/products/gao-25-107653)

被引于：Table 1.

• U.S. Government Accountability Office (2025b)

U.S. Government Accountability Office

Artificial intelligence: generative AI’s environmental and human effects. 人工智能：生成式人工智能的环境与人类影响。

技术报告

技术报告 GAO-25-107172, U.S. Government Accountability Office.

外部链接：链接 (https://www.gao.gov/products/gao-25-107172)

被引于：Table 1.

• U.S. Government Accountability Office (2025c)

U.S. Government Accountability Office

Artificial intelligence: use and oversight in financial services. 人工智能：金融服务中的使用与监督。

技术报告

技术报告 GAO-25-107197, U.S. Government Accountability Office.

外部链接：链接 (https://www.gao.gov/products/gao-25-107197)

被引于：Table 1.

• U.S. Government Accountability Office (2025d)

U.S. Government Accountability Office

Spectrum IT modernization: NTIA should fully incorporate cybersecurity and interoperability practices. 频谱信息技术现代化：NTIA 应全面纳入网络安全与互操作性实践。

技术报告

技术报告 GAO-25-107509, U.S. Government Accountability Office.

外部链接：链接 (https://www.gao.gov/products/gao-25-107509)

被引于：Table 1.

• Van Landeghem et al. (2023)

J. Van Landeghem, R. Tito, Ł. Borchmann, M. Pietruszka, P. Joziak, R. Powalski, D. Jurkiewicz, M. Coustaty, B. Anckaert, E. Valveny, et al.

Document understanding dataset and evaluation (dude). 文档理解数据集与评测（DUDE）。

收录于 ICCV，

被引于：§2.

• Varhade et al. (2026)

A. Varhade, A. Sutradhar, R. Krishnaswamy, and N. Goyal

WinSyn: an automated pipeline for realistic enterprise question-answering evaluation. WinSyn：面向真实企业问答评测的自动化流水线。

arXiv 预印本 arXiv:2609.12171.

被引于：Table 2, §2.

• Vishwakarma et al. (2025)

H. Vishwakarma, A. Agarwal, O. Patil, C. Devaguptapu, and M. Chandran

Can llms help you at work? a sandbox for evaluating llm agents in enterprise environments. 大语言模型能在工作中帮到你吗？面向企业环境中大语言模型智能体评测的沙盒。

收录于 EMNLP，

被引于：§2.

• Vu et al. (2024)

T. Vu, M. Iyyer, X. Wang, N. Constant, J. Wei, J. Wei, C. Tar, Y. Sung, D. Zhou, Q. Le, et al.

Freshllms: refreshing large language models with search engine augmentation. FreshLLMs：借助搜索引擎增强刷新大语言模型。

收录于 ACL Findings，

被引于：§2.

• Wang et al. (2025a)

Q. Wang, R. Ding, Z. Chen, W. Wu, S. Wang, P. Xie, and F. Zhao

Vidorag: visual document retrieval-augmented generation via dynamic iterative reasoning agents. ViDoRAG：经由动态迭代推理智能体实现的视觉文档检索增强生成。

收录于 EMNLP，

被引于：§2.

• Wang et al. (2025b)

W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Shao, et al.

Internvl3. 5: advancing open-source multimodal models in versatility, reasoning, and efficiency. InternVL3.5：在通用性、推理与效率上推进开源多模态模型。

arXiv 预印本 arXiv:2508.18265.

被引于：§2.

• Wang et al. (2024)

Y. Wang, R. Yuan, X. Tong, Z. Bai, and Y. Hou

Towards simulation optimization of subway station considering refined passenger behaviors. 考虑精细化乘客行为的地铁车站仿真优化。

PLoS one 19 (6), pp. e0304081.

被引于：Table 1.

• Wu et al. (2025)

D. Wu, H. Wang, W. Yu, Y. Zhang, K. Chang, and D. Yu

Longmemeval: benchmarking chat assistants on long-term interactive memory. LongMemEval：面向长期交互记忆的对话助手评测。

收录于 ICLR，

被引于：Table 2, §2.

• Xu et al. (2025)

F. F. Xu, Y. Song, B. Li, Y. Tang, K. Jain, M. Bao, Z. Wang, X. Zhou, Z. Guo, M. Cao, et al.

Theagentcompany: benchmarking llm agents on consequential real world tasks. TheAgentCompany：面向具有实际影响的真实世界任务的大语言模型智能体评测。

收录于 NeurIPS，

被引于：§2.

• Zhang and Choi (2021)

M. Zhang and E. Choi

SituatedQA: incorporating extra-linguistic contexts into qa. SituatedQA：将语言外上下文纳入问答。

收录于 EMNLP，

被引于：§2.

• Zheng et al. (2024)

W. Zheng, X. Chen, W. Xu, and Z. Wu

Heterogeneous and short-term effects of a changing climate on farmers’ labor allocation: an empirical analysis of china. 气候变化对农户劳动力配置的异质性与短期效应：对中国的实证分析。

Plos one 19 (7), pp. e0306260.

被引于：Table 1.

译注：因单篇正文约 64KB 的限制，附录 A 至 E 另篇发布，slug 为 mmenterprise-bench-evolving-records-appendix-zh。