SearchHorizonBench：评测智能体还要不要再搜一次

SearchHorizonBench：评测 AI 智能体中的搜索价值

Authors: Jingjie Ning, Xueqi Li, Yibo Kong

© none

图 1. 一个已保存的问题说明成对的搜索价值测量。对于 Leonard Nathan 的出生地，参照等价的答案出现在四次 THINK 执行中的一次，以及全部四次 SEARCH 执行中。两个分支都送入成功评估与增益评估。决策阶段分别收取探测成本和继续成本。这些分数描述的是这一被选出的图示。一段人物—文档历史分叉为思考路径和搜索路径。一条真实的实体—城市—郡链条支持搜索。每个分支四个观察到的结果在一个中性节点汇合，并同时送入成功测量与增益测量；一把成本标尺通向回答或搜索。

摘要。

AI 智能体必须决定另一次搜索是否值得它的成本。回答成功概率捕捉的是问题难度，而这一决策要求估计搜索的额外收益。我们引入 SearchHorizonBench，一个从执行经验中学习并评估搜索价值的基准。成对的继续和重复执行把期望搜索增益与生成噪声分开，并把预测质量连接到决策效用。该资源包含跨 3,168 个问题的 45,632 次执行。在 1,632 个留出问题上，历史校准把 Brier 误差降低 16.2%，改进集中在成功水平信息上。搜索增益的标准差为 21.4 个百分点，而被测试的历史估计器在点估计中解释这一方差的比例不到 2%。匹配配置的学习曲线在不同训练规模上探测这一区分。在参照词元价格下，免费的选择观察相对最佳常数动作产生 2.49 个点的效用机会，主要由增益信息驱动。可复用的历史、冻结的划分、强基线和评分工具，为开发和评估具有价值意识的搜索智能体提供共同基础。

关键词：

网页搜索智能体，边际价值，反事实评测，概率校准，自适应检索，执行经验，基准

1. 引言

大规模智能体搜索日志记录了迭代的查询改写，以及指向更早检索上下文的词汇链接（Ning et al., 2026a）。每一次额外搜索都可以解开一个缺失的关系或实体，同时消耗时间和金钱。在 Test-400 中，允许搜索把参照等价的回答成功率从 69.38% 提高到 73.56%，并把行动者词元均值从 1,069 提高到 6,829。搜索价值预测识别哪些问题值得承担这一额外信息成本。

SearchHorizonBench 把搜索价值定义为：从同一段公开历史出发，继续搜索与直接回答之间的期望奖励差。行动者完成被选中的继续；预测器估计其结果。三项测量描述它们的行为。动作成功预测衡量每种继续下的正确性。增益预测衡量二者之差。决策效用把被选中的奖励与获取其信息的成本结合起来。校准捕捉问题难度；成对的增益与成本测量识别与选择进一步搜索相关的信息。

该基准通过原生的成对执行连接这些测量。每一个已保存状态都支持两种继续、重复结果、固定的参照答案和所记录的资源成本。历史动作均值和任务先验确立强参照。重复执行把期望增益误差与生成噪声分开。匹配配置的学习曲线测量额外训练数据的效果。一个决策信息析因独立地改变对查询特定增益和查询特定成本的访问。这些对照给搜索价值估计器一个关于预测准确性和决策效用的共同测试。

成对评测识别校准改进的是哪一种信息。在 Test-1632 上，一次历史校正把 Brier 从 0.2145 降到 0.1797。任务先验解释这一变化的 88.9%，成功水平预测解释 99.9%。搜索增益在问题之间变化很大，标准差为 21.4 个百分点。校准后的历史预测器在点估计中解释这一变化的比例不到 2%。所评估的回归器在 20 到 1,100 个问题的同行动者、同后端训练集上，增益技能仍然接近零。这些结果把问题特定的增益预测确立为一个不同的基准目标。

增益信息识别具有成本意识的搜索机会。在每千词元 0.005 的词元价格下，一个由样本告知的选择器相对最佳常数动作获得 2.49 个效用百分点。固定成本信息并改变增益信息，保留 2.48 个点；只改变成本给出 0.68 个点。一条可部署的双答案一致性规则为其探测付费，从而使信号获取成为评测的一部分。SearchHorizonBench 贡献成对执行资源、一份关于难度与增益信息的受控说明，以及一种把该信息连接到决策的评测。它的 45,632 次执行和 8,880 次预测覆盖跨行动者、检索后端、预算和奖励的 3,168 个问题。

2. 相关工作

#### 检索决策与智能体控制。

Self-RAG、FLARE、DRAGIN 和 Adaptive-RAG 发展了检索触发条件，也发展了策略选择（Asai et al., 2023; Jiang et al., 2023; Su et al., 2024; Jeong et al., 2024）。Search-R1 和 R2-Searcher 用强化学习来训练搜索策略（Jin et al., 2025; Zhang et al., 2026a）。Stop-RAG、HALT、TASR 和 Agentic Abstention 通过价值、验证、稳定性或置信度来研究何时停止（Park et al., 2025; Roh and Han, 2026; Kieback et al., 2026; Luo et al., 2026）。SearchJev 为法律领域的搜索决策评分（Cao et al., 2026）。SearchHorizonBench 提供彼此对齐的执行，用来测量未来动作的价值，以及估计这一价值所需要的经验。

#### 由执行导出的效用。

Calibration Is Not Control 通过匹配前缀执行研究干预价值，并评估学到的控制器（Zhang et al., 2026b）。CoBRA 从成对的内部与外部轨迹学习工具使用边界（Zou et al., 2026）。Search-G1 训练经过干预校准的、关于检索必要性和证据依赖的读出（Cheng et al., 2026）。Tian 等人跨观察到的检索迭代预测答案质量及其变化（Tian et al., 2026），Wu 等人建模工具的必要性、效用和可负担性（Wu et al., 2026）。Bridge Evidence 测量一份文档对后续智能体动作的贡献（Mukhopadhyay et al., 2026）；针对读者的效用研究考察证据偏好和干预效应如何迁移（Zhou, 2026）。匹配的修订研究分离重新求解、脚手架和草稿内容（Ning et al., 2026c）；具备重复意识的问答审计把由语料引起的答案变化与语料内部变化分开（Ning and Li, 2026）。SkillLearnBench 在内容、轨迹和任务结果层面评测由经验导出的智能体技能（Zhong et al., 2026）。SearchHorizonBench 用重复结果和匹配的历史基线，测量前瞻的动作价值预测和历史复用。

#### 预算、配置选择与校准。

具有预算意识的控制和主动检索评测计入信息成本（Fang et al., 2026; Xiong et al., 2026; McCleary and Ghawaly, 2026; Qian et al., 2026）。评测预算研究分配问题、轨迹和重复答案以提高精度（Ning et al., 2026b）。DRAG 选择检索器—生成器配置（Anand et al., 2026）。Pandora’s Router 和阶段感知剪枝为价值估计与上下文使用定价（Fisch et al., 2026; Kolukuluru et al., 2026）。Search as Computation Allocation 把代价高昂的信息获取形式化（Tuisov, 2026）。THERMOMETER 和 CALIBFORMER 在任务和模型之间迁移概率校准（Shen et al., 2024; Dhar et al., 2026）。我们的统计工具建立在处理效应估计、查询性能预测、校准和 U 统计量之上（Athey and Imbens, 2015; Chifu et al., 2025; Kull et al., 2017; Hoeffding, 1948）。

3. 从智能体执行中学习

3.1. 一个共享状态和两个可执行动作

一个状态 $x$ 是智能体可用的完整公开交互历史，包括工具响应和返回的推理文本。一个检查点是保存在合法动作边界上的状态。在每个检查点，Think 用已有证据推理并返回答案。Search 可以在回答之前检索进一步的证据。行动者、动作指令、检索接口和剩余预算定义被预测的那一次执行。

对于动作 $a$ 下的答案正确性 $Y^{a}\in\{0,1\}$，预测目标是

(1) $p_{a}(x)=\mathbb{E}[Y^{a}\mid x],\qquad\Delta(x)=p_{S}(x)-p_{T}(x).$

前一组量是动作成功概率。它们的差是进一步搜索的期望增益。这一增益包括完整的继续，包括查询规划、返回的证据和最终答案生成。

主要行动者使用开启的推理、8,192 词元的完成预算，以及至多三次额外搜索。两个分支从同一段历史开始。确切的查询和检索参数标识缓存的响应，因此重复执行测量的是共享证据响应下的行动者变化。两个行动者标识符是 deepseek-flash 和 deepseek-v4-pro；本地的跨家族扩展使用 Qwen3-4B（Yang et al., 2025）。从 Flash 生成的历史出发的 Pro 和 Qwen 继续，测量以这些历史为条件的迁移。

预测器收到公开历史、行动者身份、工具和继续指令。它在看到未来结果之前返回成功概率 $q_{T}$ 和 $q_{S}$。主要引出使用结构化响应、关闭的推理，以及 2,048 词元的输出上限。畸形预测使用固定配对 $(0.5,0.5)$。传输错误在恢复之前保持未完成。参照答案和未来检索结果属于评测数据。

图 2. 一对预测支持两个目标。期望 Brier 误差把成功水平误差、四分之一的增益误差，以及共享的结果方差结合起来。成对比较抵消共享方差。两个动作概率分离为它们共同的成功水平和动作差异。它们的平方误差与共同的结果方差一起，分别贡献到期望 Brier 误差。

3.2. 可解释的概率校正

每个分支的四次独立执行为开发集提供成功率 $\bar{Y}_{T}$ 和 $\bar{Y}_{S}$。我们拟合一个仿射概率校正

(2) $\widetilde{\boldsymbol{p}}(x)=\operatorname{clip}_{[0,1]}\{\boldsymbol{b}+\boldsymbol{z}(\boldsymbol{q}(x))B\},\qquad\widetilde{\Delta}=\widetilde{p}_{S}-\widetilde{p}_{T}.$

这里 $\boldsymbol{z}$ 用开发统计量把两个原始概率标准化。两个校正后的概率都使用两个输入。四个仅开发折从 $\{0.01,0.1,1,10,100\}$ 中选择岭惩罚。所得参数在测试执行期间保持固定。

历史均值基线预测每个动作的开发成功率。任务先验和元数据对照使用评估方一侧的任务类别。公开前缀岭使用预测和可观察的历史特征；文本头使用冻结或微调的 MiniLM 表示。独立仿射校准使用每个动作自己的概率；共享输入映射使用两者。逻辑、beta、保序、直接增益和残差模型提供额外对照。双探测一致性根据独立 THINK 答案之间的一致来选择继续，并为两次探测付费。附录 B 规定特征和拟合规则。

图 2 分开两种预测信息。成功水平 $\ell=(q_{T}+q_{S})/2$ 描述行动者在该问题上总体成功的可能性。预测增益 $f=q_{S}-q_{T}$ 描述动作差异。对于对应的真实水平 $\ell^{*}=(p_{T}+p_{S})/2$，平均二元 Brier 误差分解为

(3) $\mathbb{E}[\overline{\mathrm{Brier}}\mid x]=(\ell-\ell^{*})^{2}+\tfrac{1}{4}(f-\Delta)^{2}+V_{x},$

其中 $V_{x}=\tfrac{1}{2}\sum_{a}p_{a}(1-p_{a})$ 是固定继续的二元结果方差。Brier 是预测成功概率相对二元正确性的平均平方误差。一个学到水平/均值增益的对照保留依赖于问题的成功水平，并使用历史均值增益。对两个预测器减去这一分解，会精确抵消 $V_{x}$。由此产生的成对差异把 Brier 改进归因于成功水平误差和四分之一的增益误差。一个常数增益对照和一个精确的零增益对照，给出对额外增益信息的匹配测试。

3.3. 重复结果测量增益误差

随机答案使两个观察到的成功率之差充满噪声。我们使用独立的结果配对来估计期望增益的平方。在每个动作有 $m_{a}$ 次执行时，

这一 U 统计量的条件期望为 $\Delta(x)^{2}$（Hoeffding, 1948）。因此一个固定预测 $f_{x}$ 得到无偏的增益风险估计

(5) $\widehat{L}_{x}(f)=f_{x}^{2}-2f_{x}(\bar{Y}_{S}-\bar{Y}_{T})+\widehat{\theta}_{x}.$

成对比较使用相同的执行，共同的末项抵消。我们保留按计算得到的有限样本估计。同一构造适用于 $[0,1]$ 中的有界奖励，从而使集合完成实验成为可能。附录 B 给出不确定性和共享答案的计算。

图 3. 任务信息与任务内预测。左侧给出同一次 Brier 下降的两种分开归因。中间展示观察到的、逐问题的映射减先验 Brier 变化及密度曲线。右侧展示均值和 95% 分量区间。除四跳 MuSiQue 为 32 外，每个层有 400 个问题。拟合只使用开发结果。两条归因带、五个逐问题 Brier 变化分布，以及五个均值对比区间，把任务先验信息与任务内预测区分开。

4. 基准与评测

4.1. 问题、历史与迁移设定

Test-400 包含 120 个开发问题和 400 个测试问题，在 HotpotQA 的桥接题与比较题，以及需要两跳、三跳或四跳推理的 MuSiQue 问题之间平衡（Yang et al., 2018; Trivedi et al., 2021）。支持用的 Wikipedia 页面在开发与测试之间不相交。我们保存初始状态，以及在第一次和第二次实际搜索之后到达的状态。这些检查点上的测试计数为 400、377 和 171。更晚的检查点描述到达它们的智能体总体；重复问题比较保留这一依赖。

Test-1632 包含 1,632 个在执行前经过参照支持筛选的问题。它在前四个层中各包含 400 个问题，以及全部 32 个合格的四跳问题。每个层的权重为 0.2。冻结的源映射使用原来的 120 个 Tavily 搜索问题；目标执行使用 DeepSeek 搜索。一项分开的 40/400 开发/测试研究覆盖 Natural Questions 查询（Kwiatkowski et al., 2019）。该基准还改变 8,192 或 16,384 词元的完成预算，以及三次或六次的搜索限制。

组件研究在一个真实的待处理查询上使用 128 个开发问题和 320 个测试问题。Flash 和 Pro 各自执行 STOP、DeepSeek 搜索和 Serper 搜索。STOP 取消待处理调用并回答；两个搜索动作执行其查询然后回答。四次重复产生 10,752 次执行。一次共享的 STOP 执行支持两种后端比较。ClueWeb22 和 FineWeb 在 32 个开发状态和 64 个测试状态上提供两种额外的索引源条件（Overwijk et al., 2022; Penedo et al., 2024; Coelho et al., 2025）。这些比较保留查询，并把每个返回的数据包限制为五篇文档、每篇至多 1,500 个字符。

一项集合研究使用来自 DeepSearchQA 的 32 个开发任务和 96 个测试任务（Google DeepMind, 2025）。行动者必须返回一组被请求的条目。我们比较停止、在同一来源上执行待处理查询，以及把查询切换到另一来源。奖励是集合 F1，即相对策划参照条目的精确率与召回率的调和平均。三个动作各四次重复产生 1,536 个结果。该资源包含 45,632 次不同执行和跨 3,168 个不同问题的 8,880 次预测；共享执行只计一次。附录 A 提供清单。

4.2. 评分与比较成本

共同的评测目标是与冻结参照答案等价的正确性，由固定的 Flash 参照等价规则评分。归一化的精确匹配、显式弃权和终态失败获得自动分数；其余不同的问题—答案配对获得语义判断。相同答案共享一个标签。在行动者—检索器审计中，两个上下文隔离的 AI 小组审阅了 812 个不同答案，一致率为 95.4%，$\kappa=0.918$。它们的来源支持评估和答案等价评估保持分开。确定性包含检查和精确匹配在附录 C 中评估替代的词汇目标。

存储的预测和历史校正在目标执行之前固定。学习曲线在已完成的同配置库内使用分开的训练与评估组件。每个留出问题从拟合到其他支持组件的模型获得一次预测。训练子集、模型选择折、拟合预测和原始比较定义伴随发布的记录。

区间使用支持组件的 10,000 次重采样，这些组件是由共享支持页面联系起来的问题组。这一分组保留来源依赖。等层分析在每次重采样内归一化层权重。所报告的区间以拟合好的预测器为条件。在历史成对标准差 0.0651 下，0.01 的增益风险差异大约需要 333 个独立问题，才能达到 80% 的正态近似功效；Test-400 保留观察到的来源依赖。

路由器是一条从其预测中选择继续的规则。路由器效用为 $U=Y-\lambda T/1000$，其中 $T$ 包括行动者和预测 API 词元，$\lambda$ 为每千词元定价。我们评估 $\lambda\in\{0,0.001,0.005,0.01,0.02\}$；焦点词元估值为 0.005。如果一次部署为每千总词元支付 $c$ 美元，并把一个额外正确答案估值为 $v$ 美元，则 $\lambda=c/v$。例如，每百万词元 1 美元的混合成本，以及每个额外正确答案 0.20 美元的价值，给出 $\lambda=0.005$。这些是显式的决策者估值；部署成本取决于实际的词元构成。历史监督成本、测试预测成本和共享的问题资格成本分开记录。置信度、熵和新颖性路由器使用公开输入和在开发中选定的阈值。它们的特征定义规定所实现的比较。

图 4. 同一行动者和同一搜索后端下的增益预测。左侧给出参照等价正确性下增益标准差的抽样分布。中间用四个支持不相交的外折和十个嵌套训练样本改变训练规模。色带是拟合样本之间观察到的范围。右侧给出在 1,100 个训练问题上、以拟合预测器为条件的 95% 分量区间。所有模型选择只使用训练组件。测得的增益变化与同配置增益学习曲线及其最大训练集区间相对照。

5. 结果

5.1. 校准捕捉任务结构

表 1. Test-1632 上、参照等价正确性下的预测。拟合使用 120 个历史开发问题。公开前缀岭是可部署参照；任务先验和元数据先验使用评估方信息。增益 $R^{2}$ 以百分数计。

执行历史为成功预测提供强参照。在 Test-1632 上，冻结映射把 Brier 从全局均值的 0.2145 改进到 0.1797，成对区间为 $[-0.0530,-0.0169]$。任务层均值得分为 0.1836，并恢复该观察到的改进的 88.9%。公开前缀岭基线使用可观察特征得分为 0.1796。我们把它用作可部署参照；层和元数据对照解释已知任务结构的贡献。表 1 报告匹配的预测及其增益误差。

任务内结果说明更细的信息在何处有帮助。在两跳 MuSiQue 上，映射的 Brier 为 0.2239，层均值为 0.2457，差异区间为 $[-0.0356,-0.0075]$。Hotpot 比较题的成功率高于 95%，使其 0.0387 的任务先验 Brier 成为强参照；映射得分为 0.0579。图 3 给出全部五个层及其区间。汇总的映射减层差异为 $-0.0039$，区间为 $[-0.0197,0.0078]$。这些比较把性能功劳分别归于任务级规律和任务内预测信息。

精确分解识别哪一个目标得到改进。相对全局均值，成功水平误差贡献了映射的 $-0.034800$ Brier 差异中的 $-0.034763$，即 99.9%。增益项贡献 $-0.000037$。水平项进一步分离为来自均值水平偏移的 $-0.000293$，以及来自问题间变化的 $-0.034470$。图 3 把归因放在任务内证据旁边。这些分量与历史先验一起，识别每个预测所捕捉的信息。

5.2. 搜索增益在问题之间变化很大

重复执行确立了一个可观的、查询特定的增益信号。令 $\mu=\mathbb{E}\Delta(x)$，$V_{\Delta}=\mathbb{E}\Delta(x)^{2}-\mu^{2}$。参照等价正确性给出 $\widehat{\mu}=0.05675$、$\widehat{\theta}=0.0490$ 和增益方差 0.0458，区间为 $[0.0364,0.0560]$。其标准差为 21.4 个百分点。这一变化定义一个问题特定的预测目标，直接通过增益误差和被解释方差来评估。

增益技能为 $R^{2}_{\Delta}=1-\widehat{L}/\widehat{V}_{\Delta}$，其中 $\widehat{L}$ 是经过生成噪声校正的增益风险。历史映射达到 $-0.17\%$，区间为 $[-1.64,0.87]\%$；公开前缀岭达到 $+0.10\%$，区间为 $[-1.36,1.17]\%$。表 1 报告全部历史估计器。分开的成功分数和增益分数识别每个估计器所捕捉的预测信息。

5.3. 增益预测缺口在更多训练后仍然存在

同配置实验控制训练规模和后端不匹配。它用同一 Flash 行动者和 DeepSeek 搜索配置下的 20–1,100 个训练问题，预测留出的 Test-1632 初始状态。原始分数多项式岭、公开特征岭和冻结 MiniLM 文本岭直接回归观察到的增益。三个仅训练折选择正则化；一个均值守卫也评估选择常数预测器。四个外层组件折和十个嵌套样本在每个训练预算上产生分开的拟合。

公开特征岭的增益 $R^{2}$ 从 120 个问题时的 $-1.67\%$ 改进到 1,100 个时的 $+0.72\%$，最终区间为 $[-1.78,3.09]\%$。原始分数岭达到 $+0.27\%$，受守卫的文本模型在最大预算上选择均值。图 4 展示完整曲线。所测试的家族在这些匹配配置的训练预算上仍然接近常数增益参照。这些曲线为评测更丰富的决策信号确立一个共同的学习规模参照。

5.4. 增益信息驱动对价格敏感的机会

图 5. 增益信息与观察成本。左侧说明双探测一致性。中间把五种词元价格与最佳常数比较，带有 95% 分量带。右侧在价格 0.005 下改变对查询特定增益和成本的访问；固定项使用分开的同配置开发均值。每条析因规则评估相同的留出效用。它的选择抽取是免费的，而一致性为两次 THINK 探测付费。一张弯曲的双探测决策图连接到测得的、依赖于价格的效用曲线，以及一张带符号的奖励/成本贡献展示。

决策析因分开对价格敏感的搜索所需的信息。它的四条规则使用固定的或查询特定的增益估计，并与固定的或查询特定的词元估计交叉。查询特定的值每个动作使用两次选择抽取；另外两次抽取评估该选择。固定值来自四十个分开的同配置开发问题。四条规则使用相同的留出奖励和成本，因此它们的比较识别为选择所提供的信息的价值。

在 $\lambda=0.005$ 时，带固定成本的增益信息相对最佳常数给出 $+2.48$ 个效用点，区间为 $[1.28,3.52]$。带固定增益的成本信息给出 $+0.68$ 个点，区间为 $[-0.64,1.73]$。二者一起给出 $+2.49$ 个点；在增益信息之上加入成本信息，使效用改变 $+0.012$ 个点，区间为 $[-0.025,0.051]$。在仅成本的选择之上加入增益信息，得到 $+1.81$ 个点，区间为 $[1.10,2.65]$。增益信息识别可以省下成本的低价值搜索。图 5 保持五种估值可见，并分开评估增益技能和决策技能。

不相交的选择抽取和评估抽取，用免费的选择观察量化决策机会。选择器的四次带标签选择执行被排除在获取成本之外，其期望价值以上界为具有精确动作价值的理想策略。在零词元价格下，始终 SEARCH 定义准确性参照；选择器的差异为 $-0.36$ 个点，区间为 $[-1.42,0.55]$。

5.5. 有用的决策信号必须覆盖其获取成本

双探测一致性在两个有效的归一化 THINK 答案一致时选择 THINK，否则选择 SEARCH。探测配对中有 65.0% 发生一致。在收取探测费用之前，被选中的继续相对始终 SEARCH 节省 3,451 个词元。探测消耗 2,210 个，留下净节省 1,241 个词元，成功代价为 1.87 个点。在 0.005 下效用为 $-1.25$ 个点，区间为 $[-2.38,-0.35]$。该基准把信号质量与其获取成本一起评估。

5.6. 一个共同基准跨越多种执行设定

更广的资源在不同智能体配置下测试同样的量。索引检索在 ClueWeb 上的 Brier 为 0.1417，在 FineWeb 上为 0.1498，相对历史均值 0.1982 和 0.1981。Qwen 行动者和预测器增加一个分开的模型家族。预算干预把证据效应与生成容量区分开；在 8k 词元下把搜索限制从三次提高到六次，使长度失败上升 2.5 个点，而 16k 预算消除这一上升。集合完成任务使用有界集合 F1 和三个动作。它们被选中的均值增益预测器和常数 STOP 策略提供针对奖励的参照。这些设定扩展该基准的成功、增益和决策测量，同时保留每一次执行和奖励定义。

6. 使用该基准

SearchHorizonBench 为新的预测器提供公开历史和动作定义。研究者在开发结果上拟合模型，然后为留出状态提交动作成功概率或带符号的增益预测。评测使用分开的结果记录和支持页面组。价值评分器报告成功误差和经过生成噪声校正的增益误差；策略评分器收取预测词元和继续词元。已保存的基线、固定先验和可复用划分支持直接的方法比较。

在匹配的执行上为成功、增益和效用评分，使一个预测器对搜索决策的贡献可以直接测试。

7. 结论

SearchHorizonBench 建立一种可复用的评测，用来判断进一步的网页搜索何时值得。共享历史、重复继续和显式成本，把成功预测、经过生成噪声校正的增益估计和决策效用连接起来。该资源跨越 45,632 次执行。在 1,632 个留出问题上，历史校准把 Brier 误差改进 16.2%，任务先验解释这一变化的 88.9%。21.4 个百分点的搜索增益标准差，以及被测试历史估计器不到 2% 的被解释方差，确立一个不同的预测目标。匹配配置的学习曲线提供跨训练规模的受控比较。在参照词元价格下，析因决策识别出一个 2.49 个点的免费观察机会，主要由增益信息驱动。该基准的公开输入、冻结划分、历史对照和评分工具，使执行经验对搜索决策的贡献可以直接测试。