候选题只留下 9.78%：蚂蚁公开 FinFIRST 的六道质检

候选题只留下 9.78%：蚂蚁公开 FinFIRST 的六道质检

蚂蚁百灵在 2026 年 9 月 4 日开源 Ling-3.0-flash-Fin，并同时开放金融搜索基准 FinFIRST。模型仍是 124B 总参数、5.1B 激活，上下文大约 256K。这篇只整理评测怎么造题、怎么判分。图里的模型总分没有写进文字，不补。

一道题拆成三层，而不是只对答案

FinFIRST 全称 Financial Information Retrieval, Sourcing and Traceability。它不满足于答案是否和参考一致，而是把每题拆成可单独核验的原子评分项，分三层：

• 原始信息：主体、报告期、单位、口径、数据版本是否正确。
• 信源：来源是否权威、相关，并且时间和版本仍然有效。
• 计算与成答：计算、推理和综合是否正确，结论有没有证据撑住。

所有模型用同一套 ReAct 框架。ReAct 是先想一步、再调用工具、再根据结果继续。工具是 Web Search、Visit 和 Python。三项指标并列：Atomic 是原子项通过率；Loose Pass 是加权后的部分得分；Strict Pass 要求这道题的全部原子项都通过。只做对一部分，在 Strict Pass 里仍然是失败。

123 道题是怎么剩下来的

FinFIRST V1 有 123 道任务，由金融专家编写并验证。50 余名金融专业人士参与构造和质检。数据覆盖 18 个字段、6 轴规划和 138 类金融信源，拆出 701 个原子评分项、12300 个 Rubric 分值。

候选题要过六道：专家编写、独立复答、交叉验证、Rubric 审核、模型压力测试、一致性检查。文中写最终采用率 9.78%。模型只用来帮忙发现残留歧义和过期证据，改不改、留不留由金融专家决定。基准由蚂蚁集团构建并开源，中金公司投行团队提供专业支持。

题目分布也写在正文里：中文 60.2%，英文 39.8%；超过五分之四的题包含多个子问题；61.8% 要求显式计算；32.5% 需要多个信源；75.6% 不直接指定信源，要 Agent 自己搜、自己判断。信源都是公开可访问的。市场覆盖中国内地、美国、中国香港和其他市场。

正文里唯一写死的模型分

对比图的总分没有进文字。唯一写明的模型数字是：Ling-3.0-flash-Fin 的信源核验（Source Verification）为 82.45%，在这次参评的开源模型里相对较好。没有给出参评模型名单，也没有给出 Atomic、Loose Pass、Strict Pass 的百分点。

作者另外写了两条方向，没有配数字：任务变难后，严格通过率下降；多信源低于单信源。他们把这理解成复杂推理、跨来源检索和证据整合仍是缺口。Loose Pass 和 Strict Pass 之间的差距，被用来说明「做对一部分」离「整题做完」还有距离。具体差距在图里。

V1 的边界

V1 的覆盖有限。V2 计划加大数据量，并分开覆盖基础金融搜索和更高阶的金融研究任务。开源地址包括 Hugging Face 与 ModelScope 上的模型权重和 FinFIRST 数据集，技术报告挂在数据集仓库的 PDF。复现要以这套数据和报告为准，不能把 82.45% 挪到其他基准上。

出处：蚂蚁，蚂蚁百灵（页面未署个人作者），开放模型 × 开放评测：Ling-3.0-flash-Fin 与 FinFIRST 正式开源，2026-09-04，https://developer.ant-ling.com/zh-CN/blogs/ling-3.0-flash-fin-finfirst