Quant-Arena：最好的模型也没跑赢等权市场

[*]通讯作者。 [主页] https://lab.einsia.ai/quant-arena

Quant-Arena：给量化交易研究中的大语言模型智能体做基准

Houde Qian

Zheng Jiang

Wenyi Li

Chenxi Xu

Xinjie Lin

Yuzhao Peng

Ruoyu Han

Youjie Zheng

Kaisen Yang

Qinhuai Na

You Fu

Calvin Xiao

Affiliation: Navers Lab, Einsia.AI

2026年10月21日

摘要

量化研究是一个迭代循环：研究者提出一个市场假说，把它实现成可执行的信号，在历史数据上检验，再决定留下什么。现有基准给公式、代码或单次交易决策打分，因而仍未回答大语言模型（LLM）能否走完这个循环，并产出在研究期之后仍然有效的策略。我们引入 Quant-Arena，一个在真实 A 股市场数据上做端到端量化研究的基准和公开排行榜。模型构造特征与股票打分代码，只在 2022–2023 年收到反馈，并冻结一套策略，供封存的 2024 年评估。现金账户评估器施加交易约束和成本，包括由模拟订单簿估计的市场冲击。分数以已实现的超额收益为主，并以信号质量和策略所用特征的多样性作补充。我们评测了九个前沿模型，其中 GPT-6 Astra 得分最高；然而没有任何模型在 2024 年打败等权市场。Quant-Arena 对任何模型或智能体框架的投稿开放。

图 1：Quant-Arena 在完整的量化研究运行上评测大语言模型。横幅显示迭代研究赛道上的总分。

1 引言

量化研究把关于市场行为的假说变成可执行的交易策略。研究者从市场观察构造特征，把它们组合成预测性因子或信号，再用这些信号建立并检验组合。大语言模型（LLM）天然适合这个研究循环：它们可以提出假说、用代码实现、解释反馈，并修订自己的做法。近期系统已经通过交互式 alpha 发现和迭代式因子搜索来探索这种潜力（Wang et al., 2023; Tang et al., 2025; Han et al., 2026）。

现有基准测量这条工作流的不同部分。AlphaQT-Bench 评测量化交易代码的正确性，而 AlphaBench 研究公式化因子的生成、评估和搜索（AlphaQT-Bench,; Luo et al., 2026）。StockBench 评测根据市场信息做序贯交易决策的智能体（StockBench,）。AlphaForgeBench 把评测扩展到根据自然语言目标生成因子与策略代码，并在历史日频市场数据上回测（Zhang et al., 2026）。

据我们所知，这是第一个在真实市场数据上的基准，其中模型从原始订单和成交记录构造特征，利用有界反馈修订信号，并提交一套冻结策略，在共同的交易规则下做样本外评估。这一设定通过它们对最终组合的联合效应，来评测特征构造、信号组合和策略选择。

我们引入 Quant-Arena，一个在真实 A 股市场数据上做端到端量化研究的基准（图 2）。在输入端，模型生成的 Python 程序通过受控的数据接口访问原始 Level-2 记录，包括逐笔订单、逐笔成交和订单簿快照。模型决定构造哪些特征，以及如何把它们组合成每日股票分数。研究期间，它们可以在 2022–2023 年上评估候选策略，查看被允许的反馈，并在固定预算内修订代码。每次运行随后提交一套冻结策略。在输出端，平台在封存的 2024 年上执行该策略，并测量扣除交易成本之后的组合收益。

Quant-Arena 施加共同的组合与执行规则，使这些结果可以比较。每日分数决定一个由排名最高的股票组成的等权组合，现金账户评估器施加手数约束和依赖于订单的成本，包括由模拟订单簿估计的市场冲击。相对市场的样本外收益和超额收益，直接衡量盈利能力。风险与信号统计，以及策略所用特征的多样性，为结果提供互补的视角。合在一起，这些测量把“找到一个有预测力的信号”和“把它变成一个盈利的组合”区分开。

共同的研究预算控制每次运行可以进行多少搜索。反复回测会偏爱拟合历史噪声的候选（Bailey et al., 2017），因此被选中的策略必须在其研究从未见过的数据上评估。平台也记录候选评估和最终提交。这些记录使我们能够在最终财务结果旁边，考察模型如何使用反馈并选择策略。

我们的贡献是：

•

一个端到端的量化研究基准。Quant-Arena 把从真实市场事件构造特征与信号，连接到一套可执行策略的样本外表现，使完整的研究运行成为评测单位。

•

一套共同的研究与财务评估协议。有界的研究过程、冻结的策略提交，以及在共享的组合与交易规则下的封存评估，支持对盈利能力、风险、信号质量和特征多样性的比较。

•

对大语言模型量化研究的实证分析。我们评测九个前沿模型。没有任何模型在 2024 年打败等权市场：模型排在最前面的股票通常跑输市场平均。最强的模型主要靠学会何时离开市场，而不是靠选出更好的股票来获利。

•

一个公开评测平台。Quant-Arena 作为一个公开竞技场发布，在同一协议和封存评估下，接受任何模型或智能体框架的投稿。

公开排行榜上也列出 Kepler-1，一套由 Einsia AI 开发的专有策略。

2 Quant-Arena 基准

Quant-Arena 评测模型从历史市场数据开发的选股策略的样本外盈利能力。

图 2：模型从原始市场观察构造特征和股票打分代码，利用研究期反馈修订候选，并冻结一套策略，在共同的组合与执行规则下于封存期接受评估。

2.1 任务表述

模型收到研究目标、市场数据访问权限，以及数据与评估接口的文档。在固定的研究预算内，它编写一套策略 $f$，用来构造特征、把它们组合成预测信号，并为股票打分。对每个交易日 $t$，策略计算

其中 $\mathcal{H}_{t}$ 包含该时刻可用的、被授权的历史观察，$\mathbf{s}_{t}$ 包含股票分数。模型决定特征和打分函数。一个共同的财务评估器把这些分数转换成组合持仓和收益。最终提交的是冻结的策略程序 $f$。

2.2 市场数据与基准构造

我们使用来自固定数据发布、股票池和交易日历的真实市场观察。模型从原始输入构造特征，没有预定义的因子库。缺失观察和退市股票予以保留，不重新定义每日股票池成员。

表 1：基准使用的市场数据与时间划分。

数据接口按日期、证券和字段限制访问。在每个决策日，策略可以访问被授权的历史观察，包括允许的预热历史。研究期间和评估期间使用相同的输入定义和访问规则。

2.3 研究与评估协议

模型可以在研究期上评估候选策略，并利用汇总收益、信号质量与覆盖统计，以及执行错误来修订代码。每次运行在研究期上至多评估五个候选。参与者可以在研究期内自行划分训练和验证；基准不规定单独的训练窗口。

研究结束时，一套策略的源代码、执行环境和声明的特征被冻结。评估器把这套策略在封存的样本外时期上应用一次。策略通过被授权的数据接口访问执行所需的观察。这些观察和评估反馈都不会返回给模型，供进一步开发。

2.4 财务评估与指标

评估器把股票排名转换成一个目标为 75 只股票的等权多头组合。回测维持一个现金账户，手数为 100 股，交易成本依赖于订单，市场冲击由模拟订单簿估计。闲置现金收益为零，每日净资产价值包括现金和未平仓持仓。账户收益在每个评估期内复利。

我们报告样本外年化收益，以及相对一个与相同交易日对齐的全市场等权参照的超额收益。该参照不计成本。多头夏普（$\mathrm{SR}_{\mathrm{L}}$）衡量风险调整后的表现，最大回撤衡量下行风险。信号指标包括平均每日 RankIC、其年化信息比率（$A$）、最高分位与最低分位之间的多空夏普（$\mathrm{SR}_{\mathrm{LS}}$），以及换手率，即组合每日被替换比例的平均。每日 RankIC 是股票分数与下一期收益之间的秩相关；$A$ 是其均值除以标准差，再乘以 $\sqrt{N_{\mathrm{ann}}}$，其中 $N_{\mathrm{ann}}$ 表示用于年化的每年交易日数。

公布的样本内分数结合策略质量与特征多样性。令 $r$ 为策略的年化收益减去参照的年化收益，以小数表示。每个指标由一个光滑、单调的变换映射到 $(0,1)$，

它在 $x=0$ 处等于 $0.5$，以递减的方式奖励收益，并惩罚亏损而不把亏损截断为零。分量分数是

质量是一个加权和，把大部分权重放在已实现的超额收益上：

超额收益和多头夏普衡量组合赚到了什么；四个信号项权重很小，因为它们在不同运行之间变化较小，而且本身并不决定组合价值。一个跟踪市场、没有超额收益且夏普为零的策略，有 $s_{\mathrm{R}}=s_{\mathrm{L}}=0.5$。

一套策略至多可以声明 300 个命名特征。相关特征被分组，$K$ 统计其对策略分数的贡献被检测到的合格簇数。多样性是

32 这个固定尺度使多样性随 $K$ 线性增长，直到饱和，与 300 个特征的声明上限无关。多样性随质量缩放，因此额外的特征对一个弱策略几乎不加分。样本内分数是

样本外分数 $S_{\mathrm{out}}$ 使用相同的指标维度，组合规则不公开，并对每个基准版本固定。总分是

我们在 0–100 的分数旁边报告各项指标。

3 实验

3.1 实验设置

我们的实验针对五个问题。为了评测当前模型距离一个强研究智能体还有多远，以及推理力度如何改变这一点，我们比较九个模型的 38 个迭代配置（第 3.2 节）。为了评测预测能力为什么没有变成利润，我们按信号分位分析次日收益（第 3.3 节）。为了评测是否有策略适应市场状态，我们追踪 Astra 的账户和敞口（第 3.4 节）。为了评测迭代贡献了什么，我们把迭代运行和一次性运行配对，并跟随候选走过研究期（第 3.5 节）。为了评测模型是否共享一种交易风格，我们测量它们的持仓敞口（第 3.6 节）。

我们在迭代和一次性两种设定下，以它们所支持的每一种推理力度运行 Claude Opus 5.5、Claude Sonnet 5.5、GPT-6 Astra、GPT-6 Sol、GPT-5.6 Terra、Gemini 3.8 Flash、DeepSeek V4.1 Flash、Kimi K3 和 GLM-5.3：Terra 有六档，Opus、Sonnet、Astra 和 Sol 有五档，DeepSeek 有四档，Gemini 和 Kimi 有三档，GLM 有两档。这给出 38 个迭代配置和 38 个一次性配置。一次性结果见附录 B。我们报告总分 $S$ 及其研究期和封存期分量，并对封存的 2024 窗口报告年化收益（ARR）、相对不计成本的等权市场的超额 ARR、平均 RankIC、多头夏普比率和最大回撤。第 3.3–3.6 节的诊断对每个模型使用总分最高的迭代配置（表 2 中的阴影行）。

3.2 跨模型与推理力度的表现

表 2：每个模型及其所支持推理力度的迭代结果。模型按其最好总分排序，力度在每个模型内部递增。阴影行标出每个模型得分最高的力度，即第 3.3–3.6 节诊断所使用的配置。分数采用 0–100 的尺度。财务和信号指标针对封存的 2024 窗口；不计成本的等权市场 ARR 为 17.1%。MDD 是负的收益。粗体标出每一列中的最好值。

盈利的策略很少，而且只有一套打败了市场。38 个配置中有 13 个获得正的 ARR，唯一高于 17.1% 市场的是中等力度的 Sol（18.4%，$+1.4$ 个百分点）。大多数策略把不到一半的资金放在股票上（38 次运行中有 35 次的平均敞口为 34–48%），因此它们支付交易成本，却只获得市场涨幅的一部分。

更高的推理力度并不能可靠地提高分数。九个模型中有六个，其最好力度并不是它所支持的最高一档（表 2）：Opus 在中等力度得 44.28，而在 max 得 41.39；Gemini 是 43.04 对 35.39；Kimi 在低力度得 38.31，而在 max 得 31.86。只有 Sonnet、Terra 和 GLM 在其最高力度上达到峰值。一个模型各力度之间的极差达到 14.49 分（Terra），接近九个最高力度分数之间 18.77 分的极差。力度通过离散的设计选择起作用，而不是逐渐改进。Astra 的 xhigh 和 max 运行加入了一个市场状态过滤器，并在 70–75% 的交易日持有现金，而其 low、medium 和 high 运行大约保持 47–48% 的投资比例，分数从 high 的 43.70 跳到 xhigh 的 51.29。Sol 遵循同一模式：其 xhigh 运行平均只有 5% 的资金投资于股票，其他力度则为 34–46%。

3.3 模型为什么不够：排序能力没有到达组合

图 3：九个模型最好的迭代配置在 2024 年按每日分数分位的平均次日收益，单位为基点（bp）。H–L 是最高分位减最低分位的价差，每个标题中的最后一项是有信号的天数。

模型给股票排序时有一定能力，但它们买入的股票并不是赚得最多的那些。Opus、Sonnet、Gemini、DeepSeek、Kimi 和 GLM 呈现一个驼峰（图 3）：第二或第三分位赚得最多，每天 24–33 bp，收益向最高分位下降，因此 H–L 落在 $-10.5$ 到 $+4.7$ bp 之间。Terra 和 Astra 随分位上升（$+28.6$ 和 $+38.7$ bp），Sol 是平的。平均秩相关并不能预测利润：GLM 的 RankIC 为 0.046，ARR 为 $-7.8\%$，而中等力度的 Opus 的 RankIC 为 $-0.002$，ARR 为 4.4%；在 38 次迭代运行上，二者几乎不相关（Spearman 0.09）。RankIC 是对整个截面取平均，但组合只持有排名最前的 75 只股票，而对大多数模型来说，分位曲线正是在那里下降。

3.4 案例研究：Astra 学会择时

图 4：xhigh 力度下迭代 Astra 运行在 2024 年的现金账户净值，对照不计成本的等权市场。阴影带标出 Astra 持有股票的日子。

Astra 的领先来自离开市场，而不是来自选出更好的股票。它的程序只在股票池的五日和二十日对数收益中位数都为正时才给股票打分，否则持有现金。前三个候选没有这样的规则。它出现在第四和第五次提交中，第五次即被提交的策略，此前研究反馈显示两个研究年都有净亏损（2022 年 $-12.2\%$，2023 年 $-13.6\%$）。这条规则使 Astra 避开了 2024 年初的下跌（图 4）：它在 2 月 28 日才第一次买入股票，当市场在 2 月 6 日见底于 0.704 时，它的净值恰好是 1.000，一、二月的最大回撤为 $-1.7\%$，而市场为 $-29.6\%$。全年 Astra 结束于 1.107，市场为 1.170，超额收益为 $-6.3$ 个百分点，其涨幅的 12.5% 出现在 9 月 24 日到 30 日的五个交易日。75% 的交易日持有现金限制了参与：从二月低点的反弹中，Astra 捕获了市场的 16%，Terra 则捕获 73%，因此较低的回撤伴随着较低的上行。这种行为取决于力度：Astra 的 low、medium 和 high 运行几乎每天都有投资，回撤分别为 $-25.7\%$、$-17.9\%$ 和 $-26.3\%$。

3.5 迭代提高分数比提高收益更可靠

表 3：配对的迭代与一次性结果，各自取该设定内总分最高的所支持力度（力度写作迭代 / 一次性）。$\Delta$ 是迭代减去一次性。$S_{\mathrm{in}}$ 和 $S_{\mathrm{out}}$ 是研究期和封存期分数，ARR 之差以百分点计。不计成本的等权市场 ARR 为 17.1%。

迭代提高了每个模型的分数，但只提高了四个模型的收益。把每个模型最好的迭代配置和一次性配置配对（表 3），平均分数从 36.47 升到 43.55，增益从 0.69（Sonnet）到 18.99（Sol）。ARR 在 Sol、Astra、Kimi 和 DeepSeek 的迭代运行中更高（高出 6.2 到 16.2 个百分点），在其余五个中更低，因此平均增益只有 2.9 个百分点。反馈对研究窗口的改善大于封存年份：平均增益在 $S_{\mathrm{in}}$ 上为 10.36 分，在 $S_{\mathrm{out}}$ 上为 5.67 分，而最好的迭代配置在两个窗口之间损失 12.4 分，一次性则为 7.7 分。迭代学到的一部分东西是 2022–2023 年所特有的。

图 5：九次迭代运行在研究期的进展。（a）相对第一个有效候选，迄今最好的超额 ARR 增益；均值使用每个序号上当时可用的运行。（b）2022–2023 年上的第一个、最好的和被提交的候选。

大部分研究进展来自修复一个薄弱的第一候选。在有效候选序号一到五上，迄今最好增益的均值是 0、14.4、16.7、29.1 和 36.5 个百分点，分别基于 9、9、7、4 和 3 次运行（图 5），但中位数增益在第二候选为 6.5 个百分点，在运行结束时为 7.0 个百分点。两次运行拉动了均值：DeepSeek 和 Sol 从超额 ARR 接近 $-44$ 和 $-45$ 个百分点的第一候选分别改进 57.1 和 50.7 个百分点，去掉它们之后，最终增益的均值为 6.5 个百分点。第二候选在九次运行的四次中是研究期最好的，三次运行提交了它们最好的候选。大的增益来自修正一个糟糕的第一候选中的明显错误；一旦候选接近盈亏平衡，进一步的评估只再增加几点。

3.6 交易风格

图 6：九个模型最好的迭代配置在 2024 年按持仓价值加权的风格暴露，以相对市场的截面标准差计。Astra 的估计使用它投资的 61 天。

大多数模型收敛到小市值、低波动、偏向价值的持仓，而风格并不能把赢家和输家分开。九个模型中有八个偏向更小的股票，七个偏向更高的账面市值比，大多数偏向更低的波动和换手（图 6）。Opus 和 DeepSeek 是例外，偏向更高的波动（$+0.54$ 和 $+0.46$）和换手（$+0.56$ 和 $+0.57$），Terra 在每个维度上都保持在市场的 0.11 以内。市盈率的倒数对六个模型为负，因此价值偏向来自账面价值而不是盈利。相似的偏向以不同的位置结束：Astra（账面市值比 $+0.96$，波动 $-1.05$）结束于 1.11，Sonnet（$+0.54$，$-0.64$）结束于 0.88。如前面各节所示，账户结果由市场敞口和每个排名的头部决定，风格偏向对它们几乎没有增加。

3.7 Kepler-1 与这些模型的对照

图 7：九个模型最好的迭代配置以及 Kepler-1 在 2024 年的现金账户净值，对照不计成本的等权市场。

Kepler-1 把优势变成了账户价值，而最好的模型几乎只是略高于起始资金结束。Kepler-1 得分为 77.56，2024 年结束于 1.93，市场为 1.17（图 7），四个模型结束时高于起始资金：Astra（1.11）、Sol（1.09）、Terra（1.08）和 Opus（1.04）。其余五个结束于 0.88（Sonnet）到 0.97（Gemini）之间。领先并非来自更好的平均秩信号：Kepler-1 的 RankIC 为 0.085，低于 Astra 的 0.101。它来自把信号转换成收益，夏普比率为 2.98，而最好的模型为 1.89。

4 相关工作

4.1 用语言模型挖掘公式化 alpha

公式化 alpha 挖掘搜索可执行的表达式，把市场观察变换成有预测力的截面信号。已发表的公式库展示了这种表示的可解释性和可部署性（Kakushadze, 2016）。自动化方法随后用进化搜索或学习到的生成器来探索表达式空间，并把得到的因子组合起来（Zhang et al., 2020; Shi et al., 2024）。这些显式的搜索空间支持可复现的执行，但它们是组合式的，高度暴露于有噪声的回测反馈，而且常常围绕一个狭窄的因子统计量来优化，而不是围绕最终组合的行为。

大语言模型把经济假说、符号构造和经验诊断连接起来，从而扩展了这一范式。LLMFactor 用序贯的、由知识引导的提示，从金融信息中抽取可解释因子（Wang et al., 2024）；Automate Strategy Finding with LLM 把多模态市场输入与多智能体组合工作流结合起来（Kou et al., 2024）；Alpha-GPT 引入基于大语言模型的交互式 alpha 生成（Wang et al., 2023）；AlphaAgent 为原创性、假说与因子的对齐以及结构简洁性对生成加以正则（Tang et al., 2025）；QuantaAlpha 把一条完整的挖掘轨迹当作进化单位，并通过变异和交叉复用有效的子轨迹（Han et al., 2026）。这些系统确立了结构化、多阶段 alpha 发现相对于一次性公式生成的价值。Quant-Arena 提供一套共同协议，用可执行的策略输出和一条冻结的最终评估边界，来评测由此产生的模型运行。

4.2 量化基准与评估协议

现有的金融基础设施服务于若干不同的评测目标。Qlib 把面向人工智能的量化工作流标准化，而 FinRL 提供可复现的强化学习和交易评测环境（Yang et al., 2020; Liu et al., 2020）。FinBen 和 Finance Agent Benchmark 等金融语言基准评测领域理解、生成、预测和真实世界的研究任务（Xie et al., 2024; Bigeard et al., 2025）；AgentBench 和 MLAgentBench 等通用智能体基准评测多轮交互、工具使用和迭代实验（Liu et al., 2023; Huang et al., 2023）。AlphaBench 专门聚焦公式化 alpha 的生成、评估和搜索任务（Luo et al., 2026），而 AlphaForgeBench 针对用大语言模型做可复现的端到端因子与策略设计（Zhang et al., 2026）。近期的交易智能体评测也强调历史市场中的泄漏控制、归因和记忆效应（Zhu et al., 2026）。

这些基准的评测单位也不相同。AlphaQT-Bench（AlphaQT-Bench,）把可执行性、因果安全、功能正确性和结构合规当作分开的代码级结果，并带有少量修复轮次。StockBench（StockBench,）在一个较小的股票池上评测反复的序贯决策，并报告被动持有参照，而 QuantBench（QuantBench,）研究的是常规量化模型、特征集和训练种子，而不是大语言模型研究系统。AlphaForgeBench 通过许多短任务扩大生成实现的数量，KTD-Fin 把交易智能体的行为与信息获取和归因分开。这些设计促使人们报告执行状态、财务结果和信息边界。

评测一个量化基准，还需要控制产生最终输出的过程。反复接触有噪声的回测，会造成多重检验和选择偏差的机会（Bailey et al., 2017）。Quant-Arena 通过冻结的数据发布、按日期限定的执行、有界的研究预算、有界的交互反馈、明确的财务约定，以及对一套已提交策略的封存评估，来满足这一要求。由此得到的协议，通过把原始特征构造和有界研究连接到一套已提交策略的封存财务结果，补充了代码、因子和交易决策基准。

5 结论

Quant-Arena 评测一次完整的量化研究运行，从在原始市场观察上构造特征，到修订候选，再到提交一套策略供封存的财务评估。共享的股票打分接口、组合规则和现金账户评估器，把模型撰写的研究连接到可比较的模拟结果。

在 38 个迭代配置中，最好的模型得分为 51.3，而 Einsia AI 开发的专有策略 Kepler-1 为 77.6；只有一个配置，即中等力度的 Sol，打败了等权市场。把每个模型最好的迭代配置和一次性配置配对，迭代提高了全部九个模型的总分，但只提高了四个模型的封存期 ARR。分位收益说明了原因：大多数模型给股票排序时有一定能力，然而组合买入的排名最前的股票，赚得比中间名次更少，因此平均预测相关不足以判断一个可投资的策略。表现最好的 Astra 配置，主要通过在 2024 年初的下跌中持有现金来获利，这降低了回撤，但没有打败市场。候选轨迹表明研究进展来得早并趋于平台，力度扫描表明更高的推理设定并不能一致地改善结果。合在一起，这些发现支持同时通过开发过程及其已提交策略的财务结果来评测量化研究。

参考文献

• (1)

AlphaQT-Bench。

AlphaQT-Bench：给量化交易代码的生成与修复做基准。

Findings of ACL 2026, 2026。

https://aclanthology.org/2026.findings-acl.138.pdf。

• Bailey et al. (2017)

David H. Bailey, Jonathan M. Borwein, Marcos López de Prado, and Qiji Jim Zhu。

回测过拟合的概率。

The Journal of Computational Finance, 20(4):39–69, 2017。

https://doi.org/10.21314/JCF.2016.322。

https://doi.org/10.21314/JCF.2016.322。

• Bigeard et al. (2025)

Antoine Bigeard, Langston Nashold, Rayan Krishnan, and Shirley Wu。

Finance Agent Benchmark：在真实世界的金融研究任务上给大语言模型做基准。

arXiv preprint arXiv:2508.00828, 2025。

https://arxiv.org/abs/2508.00828。

• Han et al. (2026)

Jun Han, Shuo Zhang, Wei Li, Yifan Dong, Tu Hu, Yumo Zhu, Xiaomin Yu, Xin Guo, Zhaowei Liu, Kunyi Wang, Jingping Liu, Tianyi Jiang, Ruichuan An, Sen Hu, Zhi Yang, Ronghao Che, and Huacan Wang。

QuantaAlpha：一个由大语言模型驱动的 alpha 挖掘进化框架。

arXiv preprint arXiv:2602.07085, 2026。

https://arxiv.org/abs/2602.07085。

• Huang et al. (2023)

Qian Huang, Jian Vora, Percy Liang, and Jure Leskovec。

MLAgentBench：在机器学习实验上评测语言智能体。

arXiv preprint arXiv:2310.03302, 2023。

https://arxiv.org/abs/2310.03302。

• Kakushadze (2016)

Zura Kakushadze。

101 个公式化 alpha。

Wilmott Magazine, 2016(84):72–80, 2016。

https://arxiv.org/abs/1601.00991。

• Kou et al. (2024)

Zhizhuo Kou, Holam Yu, Jingshuo Peng, and Lei Chen。

在量化投资中用大语言模型自动寻找策略。

arXiv preprint arXiv:2409.06289, 2024。

https://arxiv.org/abs/2409.06289。

• Liu et al. (2023)

Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, Shudan Zhang, Xiang Deng, Aohan Zeng, Zhengxiao Du, Chenhui Zhang, Sheng Shen, Tianjun Zhang, Yu Su, Huan Sun, Minlie Huang, Yuxiao Dong, and Jie Tang。

AgentBench：把大语言模型作为智能体来评测。

arXiv preprint arXiv:2308.03688, 2023。

https://arxiv.org/abs/2308.03688。

• Liu et al. (2020)

Xiao-Yang Liu, Hongyang Yang, Qian Chen, Runjia Zhang, Liuqing Yang, Bowen Xiao, and Christina Dan Wang。

FinRL：一个用于量化金融中自动股票交易的深度强化学习库。

arXiv preprint arXiv:2011.09607, 2020。

https://arxiv.org/abs/2011.09607。

• Luo et al. (2026)

Haohen Luo, Ho Tin Ko, Jiandong Chen, David Sun, Yuan Zhang, and Chen Liu。

AlphaBench：在公式化 alpha 因子挖掘中给大语言模型做基准。

In The Fourteenth International Conference on Learning Representations, 2026。

https://openreview.net/forum?id=d97Q8r7ZKZ。

• (11)

QuantBench。

QuantBench：给量化模型与特征做基准。

arXiv preprint arXiv:2504.18600, 2025。

https://arxiv.org/abs/2504.18600。

• Shi et al. (2024)

Hao Shi, Weili Song, Xinting Zhang, Jiahe Shi, Cuicui Luo, Xiang Ao, Hamid Arian, and Luis Seco。

AlphaForge：一个挖掘并动态组合公式化 alpha 因子的框架。

arXiv preprint arXiv:2406.18394, 2024。

https://arxiv.org/abs/2406.18394。

• (13)

StockBench。

StockBench：给序贯股票交易中的大语言模型做基准。

arXiv preprint arXiv:2510.02209, 2025。

https://arxiv.org/abs/2510.02209。

• Tang et al. (2025)

Ziyi Tang, Zechuan Chen, Jiarui Yang, Jiayao Mai, Yongsen Zheng, Keze Wang, Jinrui Chen, and Liang Lin。

AlphaAgent：带正则化探索的、由大语言模型驱动的 alpha 挖掘，以对抗 alpha 衰减。

arXiv preprint arXiv:2502.16789, 2025。

https://arxiv.org/abs/2502.16789。

• Wang et al. (2024)

Meiyun Wang, Kiyoshi Izumi, and Hiroki Sakaji。

LLMFactor：通过提示抽取可盈利因子，以做可解释的股价变动预测。

arXiv preprint arXiv:2406.10811, 2024。

https://arxiv.org/abs/2406.10811。

• Wang et al. (2023)

Saizhuo Wang, Hang Yuan, Leon Zhou, Lionel M. Ni, Heung-Yeung Shum, and Jian Guo。

Alpha-GPT：面向量化投资的人与人工智能交互式 alpha 挖掘。

arXiv preprint arXiv:2308.00016, 2023。

https://arxiv.org/abs/2308.00016。

• Xie et al. (2024)

Qianqian Xie, Weiguang Han, Zhengyu Chen, Ruoyu Xiang, Xiao Zhang, Yueru He, Mengxi Xiao, Dong Li, Yongfu Dai, Duanyu Feng, Yijing Xu, Haoqiang Kang, Ziyan Kuang, Chenhan Yuan, Kailai Yang, Zheheng Luo, Tianlin Zhang, Zhiwei Liu, Guojun Xiong, Zhiyang Deng, Yuechen Jiang, Zhiyuan Yao, Haohang Li, Yangyang Yu, Gang Hu, Jiajia Huang, Xiao-Yang Liu, Alejandro Lopez-Lira, Benyou Wang, Yanzhao Lai, Hao Wang, Min Peng, Sophia Ananiadou, and Jimin Huang。

FinBen：面向大语言模型的整体性金融基准。

arXiv preprint arXiv:2402.12659, 2024。

https://arxiv.org/abs/2402.12659。

• Yang et al. (2020)

Xiao Yang, Weiqing Liu, Dong Zhou, Jiang Bian, and Tie-Yan Liu。

Qlib：一个面向人工智能的量化投资平台。

arXiv preprint arXiv:2009.11189, 2020。

https://arxiv.org/abs/2009.11189。

• Zhang et al. (2020)

Tianping Zhang, Yuanqi Li, Yifei Jin, and Jian Li。

AutoAlpha：一个用于在量化投资中挖掘 alpha 因子的高效分层进化算法。

arXiv preprint arXiv:2002.08245, 2020。

https://arxiv.org/abs/2002.08245。

• Zhang et al. (2026)

Wentao Zhang, Mingxuan Zhao, Jincheng Gao, Jieshun You, Huaiyu Jia, Yilei Zhao, Bo An, and Shuo Sun。

AlphaForgeBench：用大语言模型给端到端交易策略设计做基准。

arXiv preprint arXiv:2602.18481, 2026。

https://arxiv.org/abs/2602.18481。

• Zhu et al. (2026)

Taojie Zhu, Wentao Zhao, Rui Sun, Beidi Luan, Jiacheng Lu, Sinuo Wang, Jing Li, Daxin Jiang, Yonghong He, and Zuo Bai。

从知道到做到：一个面向股票市场上大语言模型交易智能体的、受记忆控制的基准。

arXiv preprint arXiv:2605.28359, 2026。

https://arxiv.org/abs/2605.28359。

附录 A 套件规格

表 4 列出基准规格。一套策略至多可以声明 300 个命名特征。

表 4：所选 A 股套件的公开规格。

#### 榜单。

一次性与迭代使用标准模型框架。系统条目使用参与者控制的智能体；自定义条目支持自托管模型或不被支持的端点，并带有自行报告的配置。

#### 结果记录。

对每一次运行，平台记录模型、赛道、框架、全部模型调用、每一次研究评估、被提交的策略，以及两个窗口的评估。失败和取消的运行仍留在记录中。每个正式排行榜条目都链接到它的运行记录。

附录 B 一次性结果与匹配力度的比较

B.1 跨推理力度的一次性结果

表 5：每个模型及其所支持推理力度的一次性结果。版式和阴影遵循表 2；阴影行标出每个模型得分最高的一次性力度。一次性设定不接收表现反馈。

表 5 以表 2 的版式报告 38 次一次性运行。中位配置得分为 31.61，38 个中有 4 个超过 40 分，而迭代设定中有 21 个。六个配置的封存期 ARR 为正，没有任何一个超过 17.1% 的市场。

没有反馈时，推理力度同样不一致。九个模型中有八个，其最好力度并不是它所支持的最高一档（表 5）。Terra 在没有推理时得 42.14，在 max 得 20.98，极差 21.16 分，超过每一个迭代极差；Sol 在 low 最好（32.15），在 max 最低（22.31）。只有 DeepSeek 随力度上升，从没有推理时的 20.48 到 max 的 29.92。没有反馈循环来纠正一份糟糕的初稿，每个单元格反映的都是单份初稿，因此分数随力度摆动更大。

B.2 匹配力度的比较

在匹配的力度上，迭代同样有帮助。在每个模型所支持的最高力度上（Gemini 为 high，其余为 max），迭代运行的分数在全部九个模型上都高于一次性运行，平均分为 40.88 对 30.18，并且在九对中的六对上 ARR 更高。在全部 38 个匹配的模型—力度单元格上，迭代运行在 34 个上分数更高，在 26 个上 ARR 更高，在 28 个上 RankIC 更高。匹配力度给出的差距大于配对最好配置（表 3），因为一次性分数更经常随力度下降，因此 max 力度上的一次性运行很少是该模型最好的一次。

附录 C 额外的策略诊断

C.1 信号相似性与组合重叠

图 8：九个模型最好的迭代配置在 2024 年的成对平均每日 Spearman 信号相关（a），以及前 75 名的 Jaccard 重叠（b）（36 对）。组合重叠衡量被选中的分数集合，而不是执行约束下完全相同的已实现交易。

成对秩相关的均值为 0.47，而前 75 名 Jaccard 重叠的均值只有 6.1%，最大值为 35.6%（图 8）。因此大体相似的排名不必选出同一个极端尾部。Opus 和 DeepSeek 是最相似的一对，相关为 0.94，重叠为 35.6%，其后是 Sol–GLM（0.87）和 Sonnet–Astra（0.84）。Terra 是最不同的策略，相对其他八个模型的平均相关为 0.14。

Opus 和 DeepSeek 彼此接近，并与其他每一个模型的相关大约在 0.5 或更低。这与图 6 中共同偏向更高波动和换手相一致。其余模型大体形成一个相关信号的簇。