Industry & PracticeResearch & Benchmarks
AMLBench: 用于 代理 式 区块 链 反 洗钱 的 真实 事件 基准
AMLBench 用 24 起真实加密货币事件和约 505 万条以太坊转账,评测智能体能否从有限线索重建洗钱资金流。GPT-6 Astra 的转账级精确率宏平均为 80.82%,查询覆盖率 84.73%。Bybit 等大案召回率仍低于 2%。

In this piece
AMLBench:用于代理式区块链反洗钱的真实事件基准
Qishuang Fu 单位:Monash University,Melbourne,Australia Hang Zheng 单位:Monash University,Melbourne,Australia Yuchen Lei 单位:Independent researcher Yuexin Xiang 单位:Monash University,Melbourne,Australia Qin Wang 单位:CSIRO,Sydney,Australia Yuanzhe Zhang 单位:Nanyang Technological University,Singapore Shiping Chen 单位:CSIRO,Sydney,Australia Andreas Deppeler 单位:Monash University,Selangor,Malaysia Joseph K. Liu 单位:Monash University,Melbourne,Australia Ziyao Liu 单位:Nanyang Technological University,Singapore Tsz Hon Yuen 单位:Monash University,Melbourne,Australia
十一位作者分属蒙纳士大学墨尔本校区、独立研究者、澳大利亚联邦科学与工业研究组织(CSIRO)悉尼、南洋理工大学,以及蒙纳士大学雪兰莪校区。原文这一页没有给每位作者单独的邮箱。
###### 摘要
在公有区块链上追踪非法资金,至今仍主要靠人工。资金在账户之间移动并经历资产兑换之后,会与其他流入混在一起,必须反复查询,并依靠专家判断才能追下去。大语言模型(LLM)智能体提供了一种把这一过程自动化的办法,但它们能否从有限线索重建与案件相关的转账网络,仍然不清楚。为填补这一空白,我们提出 AMLBench。这是一个反洗钱(AML)基准,由 24 起真实案例和 505 万条以太坊转账记录建成。对每个案例,智能体从有限线索出发,通过可组合的交易查询工具和资金流分析工具探索这些转账记录,并决定追哪些账户、哪些分支。最终的追踪结果对照案件标注来评测,工具交互日志则显示智能体如何发现并选出相关转账,以及为此付出的资源代价。我们还开发了 AMLAgent。它把资金追踪指引和查询反馈结合起来,动态引导调查决策。在 GPT-6 Astra 上,AMLAgent 在 24 起真实案例上达到转账级精确率 80.82% 和查询覆盖率 84.73% 的宏平均。对大规模 Bybit 案例的进一步分析表明,即使提交精确率相近,不同模型在转账保留率和词元用量上仍有很大差别。AMLBench 建立了一个可复现的基准,用来同时评测追踪结果和调查过程,为更可靠、更高效的自主反洗钱调查打下基础。
###### 关键词:
译注:原文这一节只有标题。HTML 与 PDF 中均无关键词正文,此处不补写关键词。
1. 引言
Web3 金融依赖以太坊等区块链。这些链上可公开访问的交易记录,为追踪非法资金提供了基础(Zhou et al., 2023)。设想一起加密货币盗窃:窃贼把被盗资金经多个账户和资产兑换转走,以掩盖来源(Financial Action Task Force, 2020)。如图 1 所示,调查人员跟着被盗资金穿过资产兑换和一连串账户;混入的流入和分叉路径,使相关转账更难辨认。从链上记录重建这些资金移动并找出其最终去向,是反洗钱(AML)调查的一项核心任务。这类调查对揭露非法资金流、维护 Web3 金融的完整性起着关键作用(Bellei et al., 2024)。
图 1. Web3 金融中的代理式反洗钱调查。
先前工作探索过把区块链调查自动化:用交易特征和图特征识别可疑活动(Weber et al., 2019;Farrugia et al., 2020;Bellei et al., 2024),以及从已知线索出发,用启发式规则和图搜索追踪资金(Yousaf et al., 2019;Wu et al., 2023)。然而这些方法依赖预先定义的检测标准或追踪规则,新线索出现时很难调整调查决策。近来,大语言模型(LLM)智能体能够通过查询区块链数据,并用查询结果决定下一步查什么,从而进行迭代式调查(Yao et al., 2023)。例如 RiskTagger(Lin et al., 2026)用由 LLM 引导的追踪过程,依据链上证据扩展资金流图。但现有工作主要集中在开发追踪方法,对如何在真实案例上系统评测自主资金追踪的准确性和效率,基准支持仍然有限。
评测自主资金追踪的一个关键困难是:智能体决定跟哪些地址、追多远,可能让转账网络的整条分支都没有被检查。这就提出一个核心问题:智能体从少量初始线索出发,经由自主查询,能多准确、多完整地重建一起事件的转账网络?
要回答这个问题,需要一个面向真实反洗钱调查的基准。它要在标准化条件下评测智能体重建与案件相关的资金流的能力,同时记录其调查过程。然而构造这样的基准有两个挑战。
- $\bullet$
C1:如何把真实案例变成支持自主探索的调查任务?资金追踪是一个迭代过程。智能体从已有证据中发现新地址和新转账,再决定下一步查什么(Yu and Knottenbelt, 2026)。这要求任务支持迭代查询,同时保留其他交易和资金流分支供探索。
- $\bullet$
C2:在允许不同调查策略的同时,如何让评测保持公平、可比较?从同样的初始线索出发,智能体可能走不同的调查路径,或在不同位置停下,从而得到不同结果。公平的评测因此要容纳通向同一目标的不同有效路径(Zhou et al., 2024),并在一致条件下,把追踪准确性、覆盖率与查询成本放在一起衡量(Kapoor et al., 2025)。
为应对这些挑战,我们引入 AMLBench,一个在真实反洗钱案例上评测自主资金追踪的基准。对 C1,我们把每个案例表述成一项调查任务:保留周围的交易活动,并提供可组合的原子查询操作,让智能体从有限的初始线索探索资金流。对 C2,一条自动评测流水线把智能体的追踪结果与案件标注对照,并记录工具交互和资源成本,从而对调查结果和调查过程做一致的评估。为了在 AMLBench 上评测不同的 LLM 骨干,我们还开发了 AMLAgent。它通过迭代工具调用,逐步追踪与案件相关的资金。
我们的工作有如下贡献:
- $\bullet$
AMLBench(§4)。我们基于 24 起真实案例建立可复现的基准,使自主资金追踪在一致的调查条件下进行,并对结果和过程做转账级评测。
- $\bullet$
AMLAgent(§5)。我们开发一个可复用的资金追踪智能体。它把追踪指引和查询反馈结合起来,支持自主调查,并为比较不同 LLM 骨干提供基线。
- $\bullet$
评测(§6)。我们在真实案例和不同 LLM 骨干上系统评测自主资金追踪,揭示当前智能体的能力和失败模式。这为理解由 LLM 驱动的反洗钱调查是否可靠、以及找出实际部署的关键挑战,建立了基础。
2. 相关工作
我们在这里简要回顾关系最密切的几条工作线,并在附录 A 中给出详细比较。
2.1. 区块链反洗钱
现有区块链反洗钱研究主要集中在可疑活动检测和资金追踪。一条工作线用交易特征和图结构识别可疑交易(Weber et al., 2019)、账户(Farrugia et al., 2020)或洗钱子图(Xiang et al., 2022;Bellei et al., 2024)。这些方法有助于找出潜在的调查目标,但通常把问题表述成在给定数据上做检测,并不能充分刻画真实调查如何从有限线索出发、经交互查询发现新目标。另一条工作线从初始线索追踪资金,使用污点传播(Wu et al., 2024)、由相关性引导的图搜索(Wu et al., 2023),或交易链接规则(Fu et al., 2026a;Fu et al., 2026b)。这些方法构造资金流子图,但预先定义的追踪标准可能使它们漏掉相关分支,或去探索无关分支。这促使我们做交互式追踪任务,让智能体在新证据出现时调整调查。
2.2. 代理式区块链取证
近期研究把 LLM 和智能体用于区块链交易分析与自主调查(Yu and Knottenbelt, 2026)。Lei et al.(Lei et al., 2025)探索 LLM 理解并解释交易图的能力。RiskTagger(Lin et al., 2026)从公开事件报告中抽取线索,并用链上证据迭代扩展资金流图,以支持取证调查。这些研究表明,LLM 智能体有潜力通过收集证据和序贯决策推进区块链调查。然而它们的任务设定和评测标准并不相同,调查表现因此难以比较。我们因而引入 AMLBench,在一致条件下、在真实事件上评测不同智能体的资金追踪能力。
图 2. AMLBench 概览。
3. 预备知识
我们介绍事件级资金追踪的基本概念。
3.1. 区块链交易
代币转账。在以太坊(Buterin, 2014)这类支持智能合约的区块链上,一笔交易可以产生多条代币转账记录。每条转账有唯一标识,以及属性 $(\tau,u,v,a,q)$,分别表示交易哈希、发送方、接收方、资产类型和金额。与交易 $\tau$ 关联的转账集合记为 $\operatorname{Tx}(\tau)$。同一笔交易内的转账可以涉及不同的发送方、接收方或资产,同时共享交易哈希和时间戳。
资金流。给定转账集合 $E$,其资金流图定义为有向时序多重图 $G=(V,E)$。节点表示地址,边表示资产转账,并保留资产、金额、时间戳和交易哈希(Wu et al., 2023)。对一条从 $u$ 到 $v$ 的目标转账,更早流入 $u$ 的转账是候选上游转账,更晚从 $v$ 流出的转账是候选下游转账(Fu et al., 2026a)。向上游扩展是在追潜在的资金来源,向下游扩展是在跟潜在的资金去向。
3.2. 事件级资金追踪
事件级资金追踪是反洗钱调查的一项核心任务。它从关于某一具体事件的已知线索出发,追踪相关资金的来源、路径和去向,以帮助分析洗钱活动以及所涉账户之间的关系(Yu and Knottenbelt, 2026;Lin et al., 2025)。我们把这一任务建模成一个交互过程:通过迭代查询,逐步重建该事件的资金流网络。
任务设定。对一起事件,令 $G=(V,E)$ 为可供查询的转账记录所形成的资金流图,其中 $E$ 既包括与事件相关的转账,也包括背景转账。初始线索由一小集合已知转账 $S\subseteq E$ 构成,被标注为与事件相关的转账集合记为 $F\subseteq E$。智能体从 $S$ 出发,通过查询逐步检索更多记录。
交互式追踪。令 $O_{t}\subseteq E$ 表示到第 $t$ 步为止检索到的转账集合。基于 $S$ 和 $O_{t}$,智能体决定下一步查询哪些地址、是向上游还是向下游追踪,以及何时停止。调查结束时,智能体提交它判定为与事件相关的转账集合,记为 $\widehat{F}\subseteq E$,目标是尽可能准确地找出 $F$。
4. AMLBench
我们提出 AMLBench(图 2),一个评测自主区块链资金追踪的基准。我们描述它的三个核心组成部分:由真实案例构造任务、带可组合工具的交互式调查环境,以及对追踪结果和调查过程的评测。
4.1. 案例构造
案例来源。我们用 2018 年至 2025 年间的 24 起加密货币安全事件建造 AMLBench。数据来自两项加密货币洗钱研究(Wu et al., 2024;Fu et al., 2026a)。这两项研究使用公开报告和已知的事件地址追踪资金,并收集链上记录。这些数据集提供了构造调查任务所需的转账记录,以及评测智能体追踪表现所需的案件标注。
数据组成。每个案例由链上转账记录、案件标注和初始调查线索组成。182 转账集合 $E$ 中的每条记录包括发送方、接收方、资产类型、金额、时间戳和交易哈希。我们保留源数据里涉及事件账户的周围交易,因此智能体需要根据自己观察到的资金流,决定跟哪些转账。183 案件标注写明每条转账属于哪个案例,以及它是否被标为与洗钱相关。我们用这些标注检查智能体提交的追踪结果。用于评测的洗钱相关标签不会展示给智能体。184 初始线索 $S\subseteq E$ 由调查开始时提供给智能体的一小集合已知转账构成。它们包括流入事件账户的转账,以及在可得时的一条下游转账。这一设定模拟真实调查:调查人员从已知交易出发,逐步追踪资金的来源、路径和去向。
译注:原文 HTML 把此处的列举序号展平为 182、183、184,后文观察条目同理展平为 182 至 185。译文保持这些编号,不另起小节标题。
数据集统计。表 1 概括 AMLBench 的总体规模以及案例之间的差异。24 个案例大约包含 505 万条转账记录,每个案例从 32 条到 262 万条不等。表中还报告每个案例的地址数、洗钱相关转账数、数据时间跨度和初始线索数,用来描述不同任务的调查范围和起始条件。含全部 24 个案例的完整统计见附录表 5。
案例多样性。被标注为相关的转账所占比例在案例之间差别很大,从 Bitpoint 的 0.7% 和 Bybit 的 7.6%,到 LCX 的 89.0% 和 Uranium Finance 的 90.0%。相关转账稀疏的案例要求智能体把目标资金流从大量背景活动中区分出来,而更密集的案例则呈现另一种追踪困难。这种多样性使 AMLBench 能够在不同的证据密度下评测调查。
表 1. AMLBench 摘要。
| 每案统计 | 最小 | 最大 | 均值 |
|---|---|---|---|
| 转账数 | 32 | 2.62M | 210.6K |
| 地址数 | 15 | 578.0K | 28.9K |
| 洗钱转账数 | 20 | 431.7K | 28.8K |
| 初始线索数 | 1 | 93 | 14.0 |
4.2. 交互式调查
在案例数据之上,AMLBench 把资金追踪组织成智能体与调查环境之间的多轮交互。从初始线索出发,智能体调用工具查询交易记录,并用返回的信息决定下一步检查哪些账户、是把资金追回来源还是跟上后续转账,以及何时结束调查。这一设定模拟调查人员如何查询记录、评估结果并调整追踪计划,使我们能够评测智能体自主收集信息、推进资金追踪调查的能力。
任务初始化。为初始化一次调查,基准运行器加载单个案例的转账集合 $E$。该集合包括与事件相关的转账和周围交易。智能体收到案例标识、区块链、调查时间窗口,以及初始线索集合 $S$ 中各转账的标识。它还收到可用查询操作及其参数的说明,并按追踪资金流的需要使用这些操作,检查转账细节以及账户的流入和流出。
查询—响应交互。为支持智能体在发现新转账和新账户后继续追踪资金,AMLBench 提供一组可组合的调查操作,覆盖交易记录查询和资金流分析。如表 2 所示,记录查询检索账户活动以及交易内的转账,资金流分析则检查资产变化以及流入与流出之间的关系,以提示候选的兑换、拆分和归集。返回的地址、交易哈希和转账标识可以在后续查询中复用,以检索更多记录并核验候选的资金流链接。
在每一轮决策中,智能体从可用集合 $\mathcal{T}$ 中选择一个或多个操作,并根据初始线索和此前的交互指定参数。一次调用表示为 $c=(f,\mathbf{p})$,其中 $f\in\mathcal{T}$ 是所选操作,$\mathbf{p}$ 包含其参数,例如转账标识、地址和时间范围。环境在案例数据 $E$ 上执行 $c$,产生响应 $r=\operatorname{Execute}(E,c)$,其中包含转账记录或候选资金流链接,并按需要附上分页和状态信息。
表 2. AMLBench 中的操作。
| 操作 | 输入 | 输出 | |
|---|---|---|---|
| 转账查找 | 转账 ID | 转账详情 | |
| 账户活动 | 地址、方向 | 转入/转出转账 | |
| 交易检查 | 交易哈希 | 交易内转账 | |
| 交易查询 | 转账搜索 | 地址/资产、时间 | 匹配的转账 |
| 兑换 | 同一交易内的资产 | 资产变化 | |
| 中继 | 流入 + 流出 | 单笔流出 | |
| 拆分 | 流入 + 多笔流出 | 多笔流出 | |
| 资金流分析 | 归集 | 多笔流入 | 归集链接 |
查询响应引导后续的操作和参数,使智能体能够调整调查路径。例如,通过账户查询发现的一笔可能兑换,可能促使智能体做资金流分析,并查询相关转账以核对。如果记录支持从 ETH 兑换成 USDT,智能体就可以跟上 USDT 的流出;其他流入转账则可能促使它向上游追踪。
为把查询过程与最终提交联系起来,令 $R_{t}\subseteq E$ 表示第 $t$ 轮全部调用中作为记录返回、或被候选标识引用的转账。累积观察集合更新为 $O_{t}=O_{t-1}\cup R_{t}$。案例数据 $E$ 保持固定,$O_{t}$ 包括在响应中遇到的转账,不论智能体是否认为它们与案件相关。在 $T$ 轮决策后终止时,我们把 $O_{T}$ 与任何最终提交 $\widehat{F}$ 一起保留。
提交与记录。当智能体决定停止时,它提交 $\widehat{F}$,即它认为相关的转账集合,使用唯一标识,并给出停止理由。AMLBench 记录这次运行是以提交结束、达到轮数上限仍未提交,还是在执行中失败。工具调用、参数、响应和资源用量在整个调查过程中被记入日志。这些日志以及累积观察集合 $O_{T}$($T$ 为决策轮总数)被保留下来,用以评测追踪结果、调查过程和成本。
4.3. 调查评测
AMLBench 从三个维度评测智能体的资金追踪表现:追踪结果、调查过程和资源用量。182 我们把最终提交中的转账与案件标注对照,以衡量追踪结果的准确性和完整性。183 然后我们把查询期间观察到的转账与最终提交放在一起检查,以确定智能体检索到了哪些相关转账,以及其中有多少被纳入最终结果。184 最后我们报告决策轮数、工具调用次数和模型词元用量,以比较不同智能体取得追踪结果所需的资源。
追踪表现。AMLBench 把智能体的最终转账集合 $\widehat{F}$ 与由案件标注定义的相关转账集合 $F\subseteq E$ 对照,以评测追踪的准确性和完整性。我们按如下方式计算转账级精确率和召回率:
| $$P_{\mathrm{edge}}=\frac{\ | \widehat{F}\cap F\ | }{\ | \widehat{F}\ | },\qquad R_{\mathrm{edge}}=\frac{\ | \widehat{F}\cap F\ | }{\ | F\ | }.$$ |
|---|
这里,$P_{\mathrm{edge}}$ 衡量提交的转账中有多大比例得到案件标注支持,而 $R_{\mathrm{edge}}$ 衡量被标注为相关的转账中有多大比例被智能体找回。我们把二者的调和平均报告为 $F1_{\mathrm{edge}}$。
由于初始线索集合 $S$ 在调查开始时就已经给出,我们还报告 $N_{\mathrm{new}}=|(\widehat{F}\cap F)\setminus S|$,即超出这些线索之外被找回的相关转账数量。
除转账级指标外,我们还在地址级评测找回情况。令 $V(A)$ 表示转账集合 $A$ 中全部发送方和接收方地址的集合。分别以 $V(F)$ 和 $V(\widehat{F})$ 作为目标地址集合和提交地址集合,我们按同样方式计算地址级精确率、召回率和 F1,作为对转账网络找回评测的补充。
调查过程。我们用累积观察集合 $O_{T}$ 计算观察覆盖率,并在 $O_{T}\neq\varnothing$ 时计算查询命中率:
| $$C_{\mathrm{obs}}=\frac{\ | O_{T}\cap F\ | }{\ | F\ | },\qquad H_{\mathrm{query}}=\frac{\ | O_{T}\cap F\ | }{\ | O_{T}\ | }.$$ |
|---|
观察覆盖率衡量在工具响应中遇到的、被标注为相关的转账所占比例,查询命中率则衡量被观察到的转账中被标为与案件相关的比例。对满足 $O_{T}\cap F\neq\varnothing$ 的运行,我们进一步计算保留率,以衡量这些转账中有多大比例被纳入最终提交:
| $$C_{\mathrm{ret}}=\frac{\ | \widehat{F}\cap O_{T}\cap F\ | }{\ | O_{T}\cap F\ | }.$$ |
|---|
调查成本。我们报告决策轮数 $T$ 和工具调用次数 $N_{\mathrm{call}}$,以及模型报告的输入和输出词元数 $N_{\mathrm{in}}$ 与 $N_{\mathrm{out}}$。总词元用量记为 $N_{\mathrm{tok}}=N_{\mathrm{in}}+N_{\mathrm{out}}$。轮数和调用次数分开报告,因为单轮决策可以包含多次工具调用。这些成本与追踪指标一起给出,以比较不同智能体取得追踪结果所需的资源(Kapoor et al., 2025)。
5. AMLAgent
为支持在 AMLBench 上做自主调查,我们实现 AMLAgent,一个带工具的资金追踪智能体。AMLAgent 使用一个 LLM 来选择调查操作、识别相关转账,并生成最终提交。
5.1. 智能体工作流
AMLAgent 把资金追踪组织成由查询反馈驱动的多轮决策过程,与交互式 LLM 智能体工作流一致(Yao et al., 2023)。跨案例时,AMLAgent 使用共同的任务输入格式、资金追踪指引、调查操作接口和执行工作流。在同一案例上比较模型时,我们保持这些设定不变,只更换底层 LLM。
令 $x$ 表示案例任务,它包括案例标识、区块链、调查时间窗口和初始线索 $S$。我们把交互历史初始化为 $H_{0}=[x]$。在第 $t$ 轮,模型根据资金追踪指引 $g$、操作说明 $D_{\mathcal{T}}$ 和当前历史 $H_{t-1}$ 生成一项决策:
| $$a_{t}=\pi_{\theta}(g,D_{\mathcal{T}},H_{t-1}),$$ |
|---|
其中 $\pi_{\theta}$ 表示由底层 LLM 实现的决策函数。决策 $a_{t}$ 可以包含一个或多个带参数的调查操作,或一份最终提交。
当 $a_{t}$ 包含工具调用时,AMLBench 执行相应操作并返回结果。该轮的响应序列记为 $r_{t}=(r_{t,1},\ldots,r_{t,m_{t}})$,其中 $m_{t}$ 是该轮的工具调用次数。下一轮使用的有效历史更新为
| $$H_{t}=\mathcal{C}\!\left(H_{t-1}\oplus(a_{t},r_{t})\right),$$ |
|---|
其中 $\oplus$ 表示按时间顺序追加交互内容,$\mathcal{C}$ 表示后文所述的上下文管理过程。模型根据更新后的历史选择后续调查操作,使自己的动作适应新返回的交易信息。
当模型不再发出工具调用,并产生一份有效的结构化结果时,调查结束。最终提交包括被判定为与案件相关的转账集合 $\widehat{F}$,以及停止理由。每条转账通过其唯一标识链接到 AMLBench 中的一条具体记录。
5.2. 资金追踪指引
AMLAgent 使用共享指引 $g=(g_{\mathrm{dir}},g_{\mathrm{adapt}},g_{\mathrm{verify}})$,把通用 LLM 适配到反洗钱资金追踪。这三个分量分别引导追踪方向、对资金流变化的适应,以及对候选链接和停止决策的核验。该指引通过一份共同的系统提示提供给所有底层模型,把根据当前调查信息选择操作留给模型自己。
追踪方向。我们把初始线索表示为 $S=S^{\rightarrow}\cup S^{\leftarrow}$,其中 $S^{\rightarrow}$ 包含用于向前追踪的进入转账,$S^{\leftarrow}$ 包含用于追踪来源的下游观察。若没有提供下游观察,则 $S^{\leftarrow}=\varnothing$。指引 $g_{\mathrm{dir}}$ 指示模型从进入转账向前追踪,并从可得的下游观察向后追踪,以检查它们的资金流连接,同时继续检查记录所支持的其他分支。
自适应追踪。指引 $g_{\mathrm{adapt}}$ 指示模型在新信息出现时调整查询。模型利用观察到的对手方和账户活动决定下一步追到哪里,同时跟踪分页和资产变化。对潜在的兑换,它先检查同一笔交易内的转账,核验资产变化,再继续追踪。
资金流核验与停止。指引 $g_{\mathrm{verify}}$ 指示模型把兑换、拆分和归集分析的结果当作候选链接,需要对照具体转账记录核验。它还指示模型提交被判定为与案件相关的已观察转账,要求最终提交满足 $\widehat{F}\subseteq O_{T}.$ 当现有记录不再支持进一步追踪,或剩余轮数不足以完成核验时,模型应汇总并提交其发现。
5.3. 上下文管理
随着调查推进,与调查工具的累积交互不断加长上下文(Yang et al., 2024)。AMLAgent 因此把用于后续决策的有效上下文 $H_{t}$,与为过程评测而保留的完整调查轨迹 $\Gamma_{t}$ 区分开。
按照智能体工作流(§5.1)中的定义,上下文管理函数 $\mathcal{C}$ 把增补了本轮模型输出和工具响应的历史,变换成下一轮的有效上下文。不需要处理上下文时,$\mathcal{C}(H)=H$。当本轮模型响应所报告的输入词元用量达到预设阈值时,AMLAgent 先完成本轮的工具调用并追加其结果,再压缩更新后的历史,以控制后续模型输入的大小,并支持更长的调查。
与此同时,AMLAgent 通过追加新交互,保留原始的、未压缩的调查轨迹。令 $\Gamma_{0}=[x]$,每轮之后的更新为 $\Gamma_{t}=\Gamma_{t-1}\oplus(a_{t},r_{t})$。这里 $\Gamma_{t}$ 跨轮保留模型输出、工具调用及其响应。因此,即使模型使用的有效上下文被压缩,AMLBench 仍可通过原始轨迹检查实际执行的查询及其返回记录,并用另行记录的词元计数分析调查过程和资源用量。
6. 实验结果
我们在 AMLBench 上评测 AMLAgent,以评估 LLM 智能体经由自主调查追踪与事件相关的资金有多有效。由于自主追踪包含多轮查询和决策,我们同时检查调查过程及其结果,以便更好地理解智能体的能力和局限。具体而言,我们处理如下研究问题(RQ):
- $\bullet$
RQ1. AMLAgent 能多准确、多完整地重建与事件相关的转账网络?
- $\bullet$
RQ2. 智能体检索到多少相关转账,其中又有多少被纳入最终提交?
- $\bullet$
RQ3. 自主调查消耗哪些资源?
- $\bullet$
RQ4. 由不同 LLM 驱动的智能体在调查同一案例时如何比较?
6.1. 实验设置
评测设置。跨案例评测覆盖 AMLBench 中全部 24 个案例,使用 GPT-6 Astra(OpenAI,),每个案例一次运行,轮数上限为 50。我们还在 Bybit 上比较不同的 LLM 骨干。Bybit 是 AMLBench 中最大的案例,用来在同一调查任务上评测它们的表现。
对多模型比较,我们选择 Bybit。它是 AMLBench 中最大的案例,约有 262 万条转账记录,用来在大规模上检查模型表现和资源用量。我们评测 GPT-6 Astra、GPT-5.6 Sol、GPT-5.6 Luna 和 GPT-5.6 Terra(OpenAI,),轮数上限为 50。每个模型做三次运行。
译注:原文对 OpenAI 的引用年份为空,写作 (OpenAI,),此处不补年份。
智能体配置。所有实验都启用交易记录查询和资金流分析。后者提供候选的兑换、拆分和归集,供对照具体转账记录核验。所有模型收到相同的资金追踪指引和工具参数说明,并可以在单次响应中生成多次工具调用。当某一轮模型报告的输入词元数达到 $200{,}000$ 时,触发上下文压缩。
结果报告。我们使用第 4.3 节定义的指标,并报告宏平均。对多模型比较,我们报告有效提交上的指标范围,并分别记录提交、达到轮数上限仍未提交,以及执行失败。追踪指标由有效提交计算,完成情况统计则包括全部尝试过的运行。资源用量由运行日志计算,词元计数同时覆盖模型决策和上下文压缩。
6.2. 资金追踪表现(RQ1)
我们在 24 个案例上评测由 GPT-6 Astra 驱动的 AMLAgent,以评估它从有限初始线索找回与案件相关的转账和地址的能力。表 3 报告每个案例的结果和宏平均指标。我们作出如下观察。
182 AMLAgent 在大多数案例上取得较好的追踪准确性和覆盖率。它在 24 个案例中的 15 个上达到高于 70% 的转账级 F1,F1 的中位数为 75.48%。转账级精确率和召回率的中位数分别为 95.10% 和 65.64%,表明该智能体通常提交得到标注支持的转账,同时找回目标转账中相当大的一部分。183 AMLAgent 发现初始线索之外的、与案件相关的地址。它在 24 个案例中的 23 个上找回了并未出现在初始转账中的额外相关地址。跨案例看,这些新发现的地址占正确找回地址的中位数为 85.45%,构成地址找回结果中的一大部分。可组合查询和资金追踪指引使智能体能够跟上新发现的地址并检查其资金流。184 大规模案例仍然困难。Upbit、PlusToken 和 Bybit 各自包含超过 48,000 条目标转账,而其他案例少于 4,000 条。尽管三者的精确率都超过 85%,召回率仍低于 2%。智能体在停止前检索到的目标转账不到 2.5%,留下许多资金流分支未被探索。185 高召回率并不总意味着高精确率。在 ATO 和 Bitpoint 上,AMLAgent 的召回率分别达到 100.00% 和 94.23%,但精确率降到 15.32% 和 7.56%。在这两个案例中,智能体在提交相关转账的同时提交了许多未被标注的转账。这揭示了与大规模案例不同的一种局限:大规模案例的主要瓶颈是探索不完整。
表 3. 使用 GPT-6 Astra 对 AMLBench 全部 24 个案例所做的调查评测。
| 案例 | 转账计数 | 转账级(%) | 地址级(%) | 过程(%) | 词元(M) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| $\ | S\ | $ | $\ | F\ | $ | $\ | \widehat{F}\ | $ | $N_{\mathrm{new}}$ | P | R | F1 | P | R |
| AscendEX | 93 | 1,389 | 1,010 | 881 | 96.44 | 70.12 | 81.20 | 97.80 | 53.94 | 69.53 | 93.95 | 41.43 | 74.64 | 2.74 |
| ATO | 1 | 51 | 333 | 51 | 15.32 | 100.00 | 26.56 | 0.70 | 100.00 | 1.40 | 100.00 | 15.27 | 100.00 | 0.95 |
| BadgerDAO | 1 | 189 | 6 | 0 | 16.67 | 0.53 | 1.03 | 28.57 | 7.41 | 11.76 | 100.00 | 75.00 | 0.53 | 0.38 |
| Bancor | 2 | 167 | 107 | 104 | 99.07 | 63.47 | 77.37 | 85.71 | 54.55 | 66.67 | 100.00 | 85.64 | 63.47 | 0.14 |
| BitMart | 86 | 700 | 647 | 479 | 87.33 | 80.71 | 83.89 | 47.46 | 90.32 | 62.22 | 100.00 | 75.84 | 80.71 | 1.58 |
| Bitpoint | 2 | 52 | 648 | 47 | 7.56 | 94.23 | 14.00 | 1.16 | 87.50 | 2.28 | 100.00 | 7.90 | 94.23 | 0.59 |
| Bybit | 5 | 199,518 | 2,085 | 1,959 | 94.20 | 0.98 | 1.95 | 99.20 | 2.15 | 4.21 | 2.19 | 77.88 | 44.92 | 7.13 |
| Cashio | 6 | 30 | 25 | 18 | 96.00 | 80.00 | 87.27 | 85.71 | 75.00 | 80.00 | 100.00 | 53.57 | 80.00 | 0.10 |
| Cream Finance | 3 | 391 | 333 | 251 | 76.28 | 64.96 | 70.17 | 89.83 | 74.65 | 81.54 | 100.00 | 50.65 | 64.96 | 1.64 |
| DEGO & Cocos | 2 | 20 | 32 | 18 | 62.50 | 100.00 | 76.92 | 50.00 | 100.00 | 66.67 | 100.00 | 62.50 | 100.00 | 0.09 |
| EasyFi | 20 | 1,119 | 800 | 718 | 92.25 | 65.95 | 76.92 | 80.00 | 41.03 | 54.24 | 96.43 | 52.92 | 68.40 | 2.76 |
| Fake Metadium | 2 | 478 | 411 | 405 | 99.03 | 85.15 | 91.56 | 98.85 | 90.53 | 94.51 | 97.49 | 85.19 | 87.34 | 1.62 |
| Harvest Finance | 2 | 1,419 | 990 | 960 | 97.17 | 67.79 | 79.87 | 86.21 | 30.49 | 45.05 | 83.23 | 64.12 | 81.46 | 1.98 |
| LCX | 11 | 129 | 112 | 101 | 100.00 | 86.82 | 92.95 | 100.00 | 100.00 | 100.00 | 100.00 | 88.97 | 86.82 | 0.16 |
| Lendf.Me | 2 | 529 | 338 | 334 | 99.41 | 63.52 | 77.51 | 91.67 | 95.65 | 93.62 | 100.00 | 16.96 | 63.52 | 2.45 |
| Liquid Exchange | 54 | 3,192 | 1,881 | 1,824 | 99.84 | 58.83 | 74.04 | 96.59 | 50.30 | 66.15 | 98.87 | 92.77 | 59.51 | 3.43 |
| Nexus Mutual | 10 | 706 | 152 | 119 | 84.87 | 18.27 | 30.07 | 71.05 | 52.94 | 60.67 | 88.39 | 88.51 | 20.67 | 1.51 |
| PlusToken | 3 | 48,074 | 903 | 900 | 100.00 | 1.88 | 3.69 | 100.00 | 2.60 | 5.08 | 2.49 | 91.16 | 75.50 | 3.94 |
| Poly Network | 2 | 224 | 101 | 76 | 77.23 | 34.82 | 48.00 | 52.17 | 32.43 | 40.00 | 100.00 | 8.67 | 34.82 | 2.04 |
| SpankChain | 2 | 32 | 53 | 29 | 56.60 | 93.75 | 70.59 | 60.00 | 100.00 | 75.00 | 100.00 | 33.68 | 93.75 | 0.24 |
| Upbit | 2 | 431,719 | 1,800 | 1,531 | 85.17 | 0.36 | 0.71 | 81.46 | 2.78 | 5.38 | 0.62 | 83.91 | 56.86 | 4.36 |
| Uranium Finance | 13 | 45 | 45 | 31 | 97.78 | 97.78 | 97.78 | 90.91 | 100.00 | 95.24 | 100.00 | 90.00 | 97.78 | 0.09 |
| Vulcan Forged | 9 | 1,090 | 712 | 703 | 100.00 | 65.32 | 79.02 | 100.00 | 78.79 | 88.14 | 100.00 | 83.91 | 65.32 | 1.16 |
| Warp Finance | 2 | 276 | 107 | 104 | 99.07 | 38.41 | 55.35 | 96.55 | 68.29 | 80.00 | 69.93 | 70.96 | 54.92 | 0.48 |
| 宏平均 | — | — | — | — | 80.82 | 59.74 | 58.27 | 74.65 | 62.14 | 56.22 | 84.73 | 62.39 | 68.76 | 1.73 |
6.3. 调查过程分析(RQ2)
图 3. 代表性案例中的转账观察与提交。宏平均表示全部 24 个案例上的均值。
图 4. AMLBench 各案例上的转账选择。
图 5. 词元用量(上)和工具调用(下),案例顺序相同,按词元用量从低到高排列。
我们把查询响应与最终提交放在一起检查,以分析 AMLAgent 如何检索并选择与案件相关的转账。表 3 报告全部案例的过程指标。图 3 和图 4 分别显示转账的观察与提交结果,以及选择之后与案件相关的转账所占比例的变化。我们作出如下观察。
182 AMLAgent 在大多数案例中检索到大部分与案件相关的转账。(表 3)查询覆盖率的宏平均为 84.73%,有 18 个案例达到至少 90% 的覆盖率,其中 14 个完整覆盖了被标注为与案件相关的转账。可组合查询支持从新发现的账户和交易继续检索。183 最终选择在大多数案例中提高了提交精确率。(图 3 和图 4)选择之后,与案件相关的转账所占比例在 20 个案例中上升。跨全部案例,查询响应和最终提交中的比例中位数分别为 72.98% 和 95.10%。模型利用资金流连接,从账户活动中选出记录放入最终提交。184 有些已观察到的转账没有被提交,是因为金额为零,或资金流连接不清楚。保留率的宏平均为 68.76%。在 Lendf.Me 中,有 193 条被标注为与案件相关的转账被观察到但没有提交,其中 192 条金额为零。在 Vulcan Forged 中,智能体排除了部分流出,因为它在资金混合之后无法确认这些流出与初始资金的连接。
6.4. 调查成本(RQ3)
我们分析 AMLAgent 在 24 个案例上的资源用量。表 3 报告每个案例的词元用量,图 5 显示工具调用次数与词元消耗之间的关系。每个案例的决策轮数和工具调用次数详见附录表 6。我们作出如下观察。
182 调查成本在案例之间差别很大。每个案例的词元用量从 0.09M 到 7.13M,均值为 1.73M。Upbit、PlusToken 和 Bybit 分别消耗 4.36M、3.94M 和 7.13M 词元,是词元用量最高的三个案例。这些结果表明,在相同的工具配置和调查轮数上限下,各案例的实际资源需求仍有相当大的差别。183 更少的工具调用并不必然意味着更低的词元用量。ATO 做了 292 次工具调用,消耗 0.95M 词元,而 Lendf.Me 只做了 50 次调用,却消耗 2.45M 词元。这两次调查分别观察到 334 条和 3,120 条互不相同的转账,说明仅靠工具调用次数并不能充分反映检索到的记录数量。
6.5. 多模型比较(RQ4)
表 4. Bybit 上的多模型比较。
| 模型 | 精确率 | 过程 | 词元(M) | ||
|---|---|---|---|---|---|
| $P_{\mathrm{edge}}$ | $P_{\mathrm{addr}}$ | $C_{\mathrm{obs}}$ | $C_{\mathrm{ret}}$ | ||
| GPT-6 Astra | 91.64 | 98.83 | 1.95 | 52.24 | 4.89 |
| GPT-5.6 Sol | 93.46 | 100.00 | 2.19 | 4.58 | 2.74 |
| GPT-5.6 Luna | 95.00 | 100.00 | 1.82 | 2.37 | 3.53 |
| GPT-5.6 Terra | 87.41 | 95.71 | 0.89 | 3.67 | 1.38 |
我们在 Bybit 上比较由四个 LLM 驱动的 AMLAgent,并保持初始线索、资金追踪指引、工具配置和轮数上限不变。表 4 报告均值结果。更多 AMLBench 案例上的多模型评测结果见附录 C.2。我们作出如下观察。
182 所有模型都达到较高的提交精确率。转账级精确率从 87.41% 到 95.00%,地址级精确率从 95.71% 到 100.00%。这些结果表明,大多数被提交的转账和地址都得到案件标注的支持。183 各模型对已观察到的相关转账的保留差别很大。Sol 达到最高的查询覆盖率 2.19%,Astra 为 1.95%。然而 Astra 保留了已观察到的相关转账中的 52.24%,而其他模型都不到 5%。因此,即使查询覆盖率相近,模型纳入最终提交的相关转账比例仍可能差很多,这突出了结果汇总和转账选择的重要性。184 在相同的轮数上限下,词元用量差别很大。平均词元用量从 Terra 的 1.38M 到 Astra 的 4.89M,比值大约为 3.5 比 1。Astra 保留了更大比例的已观察相关转账,同时消耗更多词元,这突出了比较模型时需要同时考虑调查产出和资源用量。
6.6. 案例研究
在 Vulcan Forged 案例中,AMLAgent 从八笔已知的 PYR 流入转账和一笔下游 ETH 转账出发。它查询相关账户的交易历史,并跟上新发现的地址以追踪进一步的资金流。对交易历史很长的账户,该智能体继续检索更多记录。发生资产兑换时,它检查同一笔交易内的转账,以核验不同资产之间的连接。通过这一过程,AMLAgent 观察到 1,299 条转账,最终识别并提交 712 条转账,全部得到该案例真值的支持。其中 703 条是超出初始线索之外新找回的转账。
图 6 展示一段局部资金流,涉及 PYR 转账、资产兑换以及随后的 ETH 分发。182 AMLAgent 查询账户交易历史,并识别出一笔从 0x48ad 到 0xe3cd 的 PYR 转账。183 通过检查同一笔交易内的转账,它核验了从 0xe3cd 到 0x9594 和 0x9acc 的 PYR 转账,以及从 0x68b3 收到的 ETH,从而揭示图中标出的资产兑换关系。184 在 ETH 一侧,该智能体进一步调查 0xa435 等接收账户,并把涉及 0xc4d9 的已知下游转账连接到此前的 PYR 流动。这一过程表明,AMLAgent 能够把账户级查询与交易级核验结合起来,从而做跨资产的资金追踪,并在资产兑换之后继续调查。
图 6. AMLAgent 在 Vulcan Forged 中的案例研究。
[图](配图/Vulcan Forged案例轨迹.png)
7. 讨论
我们的设计以两种方式服务于未来的反洗钱调查。
7.1. 走向实时检测与追踪
我们当前的评测集中在调查全程保持固定的历史交易记录。然而在实践中,非法资金可能在调查进行的同时继续移动。因此,要支持实时追踪,就需要 AMLAgent 纳入新出现的证据,并在调查推进时更新其发现。
AMLAgent 的迭代工作流为这一扩展提供了自然基础。现有的反洗钱监测系统,包括传统银行所用的系统,会在可疑活动能够关联到链上交易时给出初始警报。AMLAgent 追踪这些资金,并在新区块到来时保留其发现。当额外转账涉及正在调查的地址时,智能体可以继续追踪受影响的分支,而不必重复更早的查询。这将补充现有检测系统,把初始警报延伸成持续的资金流调查。
AMLBench 进一步为大规模评测实时调查提供了基础。它带时间戳的交易记录和标注过的资金流可以支持对真实事件做按时间顺序的回放,让智能体在交易变为可得时再去调查。这将使我们能够系统评测:智能体多快识别出相关资金移动,以及它们在一个响应期限之内多有效地重建仍在变化的资金流。
7.2. 加强自主资金追踪
我们的结果突出了管理调查进度的重要性。在最大的案例中,AMLAgent 达到很高的提交精确率,但只观察到相关转账中的一小部分。显式记录尚未探索的分支和未完成的查询,可以帮助智能体优先做进一步探索,并避免过早停止。这将为判断一次调查何时已经足够完整提供更清楚的依据。
证据管理是另一个重要方面。我们的 Bybit 实验表明,相近的证据检索水平可以导向差别很大的最终结果。一份持久的证据记录可以帮助 AMLAgent 在漫长调查中保留相关转账及其资金流连接,即使对话历史被压缩。然而,并非所有被省略的转账都代表被忽略的证据。在 Lendf.Me 和 Vulcan Forged 中,有些转账被排除是因为金额为零,或资金流连接不确定。记录这些决策将有助于把有意排除和无意遗漏区分开。
资源管理也会影响调查质量。我们的实验表明,更少的工具调用并不必然带来更低的词元消耗,因为单次查询返回的数据量可能差很多。更聚焦的查询降低处理开销,但也可能漏掉相关资金流。因此,有效的调查策略应当优先选择能提供有用证据的查询,同时高效使用可用资源。
8. 结论
我们提出了 AMLBench,一个从真实事件评测自主资金追踪的基准,以及 AMLAgent,一个从有限线索调查这些案例的参考智能体。我们用实验表明 AMLAgent 是有效的。我们为推进代理式链上反洗钱研究提供了一个可复现的基础。
译注:参考文献、表 5 至表 8 以及附录 A 至 C 因正文字节超过单篇上限,在同一目录的下一篇继续,原文仍是同一篇论文。
Found it useful? Pass it on
Scan with WeChat to open it on your phone and forward it.