CodexQA

行业与实践研究与基准测试

通过要全对:蚂蚁给金融 Agent 定了复跑次数和 Strict-Pass

CodexQA 团队阅读约 4 分钟

Ling-3.0-flash-Fin 的榜单分大多在图里。正文能核对的是口径:默认 temperature 1、top_p 0.95,FinSearchComp Verified 145 题,Finance Agent 要全部分项都过才算通过,v1.1 跑 10 次、v2 跑 20 次取平均。表格评测超时 3 小时。

本文目录

通过要全对:蚂蚁给金融 Agent 定了复跑次数和 Strict-Pass

蚂蚁百灵在 2026 年 8 月 28 日发布金融增强模型 Ling-3.0-flash-Fin。它沿用 Ling-3.0-flash 的架构,总参数 124B,每次推理激活 5.1B。能力对比图里的分项分数没有写进文字。下面只保留评测说明、案例里写明的操作次数,以及作者自己标出的边界。

默认采样,以及哪些分不是自己测的

除特别说明外,所有基准的采样都是 temperature=1、top_p=0.95。temperature 控制随机程度,1 比常见的低温采样更散;top_p=0.95 表示每步只在累计概率前 95% 的词里抽。所有模型的推理强度都开到最高档。

各基准的框架并不相同,读分时不能当成同一套题:

  • FinFIRST 是蚂蚁集团和中金公司一起做的金融搜索基准。模型统一走 ReAct 框架。ReAct 是推理和行动交替:先想一步,再调工具,再根据结果想下一步。工具是 Web Search、Visit 和 Python。原文写基准即将开源,没有给出题目数量。
  • FinSearchComp Verified 是 FinSearchComp 的内部专家验证版,145 道 T2/T3 题,参考答案经过金融专业人士审核和修订。同样用带上述三种工具的 ReAct。评审模型是 gpt-5-2025-08-07。
  • FinCRAFT 是内部基准,测的是端到端金融研究与投资分析能否做完。原文没有给题量和通过定义。
  • Finance Agent v1.1 和 v2 用官方评测框架和公开数据集的一部分。口径是 Strict-Pass:一道题的全部分项标准都满足,才算这道题通过。v1.1 取 10 次运行的平均,v2 取 20 次,用来压单次波动。
  • APEX-Agents 用官方框架,但分数来源混在一起:Claude-Opus-5、GPT-5.6、GLM-5.2、Kimi-K3 用 Mercor 公布的分数;MiniMax-M3 和 Hy3 用官方公布的分数;其余模型是内部测试。对照表因此不是同一次实验。
  • SpreadsheetBench V1 和 V2 都走 Claude Code 评测框架。V1 最多 120 轮交互,V2 最多 300 轮,单次任务超时 3 小时。环境是 Claude Code 2.1.173 和 LibreOffice 25.8.7,默认 Skill 打开,Search 关掉。这一项里 Ling-3.0-flash-Fin 的 temperature 改成 0.6,和前面的默认 1 不同。
  • τ³-Banking 直接采用 Artificial Analysis 公布的分数,不是这次内部重跑。

通用能力用的是 AA Intelligence Index v4.1.1。相对 Ling-3.0-flash 的 38 分,金融持续训练后是 41 分。原文没有给出这个指数的子项和权重。

搜索:结果、过程、证据分开看

FinFIRST 全称 Financial Information Retrieval, Sourcing and Traceability,评的是金融信息检索、来源和可追溯。50 余名金融专业人士参与设计。它从三层打分:结果是否准确完整,研究口径和计算是否合理,关键数据和结论能否回到权威原始资料。文中只说综合得分超过一些更大的旗舰模型,同等尺寸里竞争力突出,尤其会先找官方、一手和高可信资料。没有列出具体分数。

演示案例要求梳理 Google 全平台月度 Token 处理量的四次首次披露,并算各阶段增量。模型做了 23 次工具调用,最后落到 Google I/O、Alphabet 财报电话会、Google Cloud 公告、SEC 文件和 CEO 博客。路径被写成:先广找权威源,再辨析口径,锁定首次披露,统一数据,再算区间。这是一条轨迹说明,不是 FinFIRST 的通过率。

研究推理和表格:通过定义比分数更硬

Finance Agent Bench 把检索、公告分析、财务数据核验和多步计算放在同一题里。正文只说较小激活参数下仍有竞争力,没有给出 Strict-Pass 的百分点。

Spire 案例里,模型用 55 次工具调用核对 10-K、业绩公告和 8-K,识别 Storage 转为终止经营后的口径变化,把原 Midstream 盈利拆开,并沿 Adjusted、Other 和 GAAP 三条路径交叉勾稽。它确认持续经营业务的历史盈利为 1780 万美元,并写明这个数不能直接当后续预测基线。这是单案例的核对结果,不能当成基准均分。

表格侧,SpreadsheetBench V1 看真实工作簿里的单元格、公式和格式;V2 加上生成、调试、可视化和多 Sheet 工作流。正文的结论是「有基础」,并写明还要加强复杂跨表依赖、异常恢复和端到端交付。没有给出 V1/V2 得分。

Google 2026 年二季报的演示更具体:一份 7 张工作表、5000 余个公式的 Excel,把 2026 Q2E 预测换成 2026 Q2 实际披露。三类操作是匹配预测与实际并切换公式、还原单季并同步跨表依赖、检查循环引用和配平后更新 Summary。最终工作簿要保留原结构和可编辑性。演示说明写了:只展示这条轨迹,不代表全量能力,也不构成投资建议。

研报和 LBO:演示不是榜

研报两例也是材料整理,不是打分。Micron 一例把战略客户协议和约 1000 亿美元剩余履约义务放回多年合同,区分未来履约约束和当期收入。NVIDIA 一例里 Hyperscale 与 ACIE 规模接近,环比增速分别是 12% 和 31%,模型据此写边际增长可能转向 AI 云、主权 AI、企业和工业客户。这两个百分比是案例里的披露数字,不是模型得分。

完整链路用的是 APEX-Agents 里的 Planet Fitness 杠杆收购场景,在当前工具环境里复现:调未来经营费用假设,算不同情景的投资回报,并在原工作簿做敏感性分析。模型沿经营费用、EBITDA、自由现金流、债务偿还和 IRR 理公式依赖。表格工具刷新不了部分公式时,改用 Python 重建计算,再和基准结果交叉核验。原文没有给出这道复现题的对错判定。

边界

作者写明:这是第一个金融增强版本,关键假设、估值和投资结论仍要专业人员复核,输出不构成投资建议。下一步是补任务数据、过程校验和结果追溯,并考虑在更大规模底座上做金融增强。图中的模型对照分没有进入正文,不能从「较强竞争力」再拆出百分点。

出处:蚂蚁,蚂蚁百灵(页面未署个人作者),Ling-3.0-flash-Fin:面向真实金融工作流的开放模型,2026-08-28,https://developer.ant-ling.com/zh-CN/blogs/ling-3.0-flash-fin

觉得有用,转给同事

微信扫码

用微信扫一扫,在手机上打开后即可转发。

用 RSS 订阅

提交勘误