CodexQA
工具

AI 测试工具

25 个工具

每个工具做什么、收多少钱、有没有面向 agent 的接口、以及它还活着没有。

LLM 可观测性已停止服务

Tracewell

LLM 调用链追踪与成本看板。

2026-02-28 关闭服务,官网已下线。数据导出窗口已于 2026-03-31 结束。

闭源付费
LLM 评测

EvalMesh

MCP

分布式 LLM 评测调度,把评测任务打散到多家模型供应商。

开放内核免费增值MIT累计融资 $9.5M官网 ↗
AI 原生测试自动化维护模式

PixelProof

AI 驱动的视觉回归,按语义而不是像素比对。

2026-06-30 宣布进入维护模式:不再有新功能,团队转向其他产品。现有客户可继续使用。

闭源免费增值累计融资 $6.5M官网 ↗
传统工具 + AI被收购 · GridForge

Oldtown QA Suite

传统录制回放工具,近年加入了 AI 自愈定位器。

2026-04-15 被 GridForge 收购。现有许可证维持到 2027 年底,之后迁移到 GridForge Device Cloud。

闭源付费官网 ↗
红队与安全

Sentinel Red

技能

面向 LLM 应用的开源红队框架,自带 agent 技能。

开源免费Apache-2.0官网 ↗
基础设施与设备云

Harborlane

按需拉起的临时测试环境,每个 PR 一套。

开放内核免费增值Apache-2.0官网 ↗
LLM 评测

DeepEval

技能

原生基于 pytest 的 LLM 评测,60 多种指标。

开放内核免费增值Apache-2.0官网 ↗
AI 原生测试自动化被收购 · Tricentis

Testim

以定位器稳定性为核心的测试编写工具,现已归入 Tricentis。

被 Tricentis 收购;Tricentis 还收购了 Waldo(2023-07-07)和 Tabnine(2026-07-30)。

闭源企业版官网 ↗
LLM 评测已停止服务

Humanloop

LLM 评测与 prompt 管理——已停止服务。

2025-08-14 被 Anthropic 收购;平台于 2025-09-08 停止服务。在此保留条目,是为了让仍在引用它的评测不被误导。

闭源付费官网 ↗
LLM 可观测性维护模式

Helicone

LLM 可观测性代理——现已进入维护模式。

2026-03-03 被 Mintlify 收购并进入维护模式:仅提供安全补丁、bug 修复和新模型支持,没有路线图。Mintlify 正在主动协助客户迁移。

开放内核免费增值官网 ↗
LLM 可观测性

Arize Phoenix

技能

LLM 追踪与评测,可在 ELv2 许可下自托管。

Elastic License 2.0,并非 OSI 认可的开源许可:允许自托管,不允许作为托管服务转售。

开放内核免费增值ELv2官网 ↗
红队与安全被收购 · OpenAI

Promptfoo

技能

声明式 LLM 评测与红队测试,质量回退即让构建失败。

2026-03-09 被 OpenAI 收购;团队承诺继续保持 MIT 许可,相关技术并入 OpenAI Frontier。收购时拥有 125,000 多名开发者和 30 多家财富 500 强客户。

开源免费增值MIT官网 ↗
LLM 可观测性被收购 · ClickHouse

Langfuse

开源的 LLM 可观测性与追踪。

2026-01-16 被 ClickHouse 收购,与 ClickHouse 4 亿美元 D 轮融资同时宣布。ClickHouse 承诺核心部分保持 MIT 许可,自托管继续免费。

开放内核免费增值MIT官网 ↗
AI 原生测试自动化

mabl

统一的 Web、API、性能和可访问性测试,带自愈能力。

闭源企业版官网 ↗
AI 原生测试自动化

testRigor

用自然语言编写测试,覆盖 Web、移动端、桌面、邮件、短信和主机系统。

闭源付费官网 ↗
AI 原生测试自动化

Katalon

把 AI agent 纳入治理与可追溯体系的测试平台。

闭源免费增值官网 ↗
AI 原生测试自动化被收购 · Thoma Bravo

Applitools

可接入任何现有框架的视觉 AI 回归测试。

2021 年被 Thoma Bravo 收购,仍在积极开发。Applitools 于 2026 年 4 月公开表示 Test Automation University“一直比较沉寂”,正在重新规划。

闭源免费增值官网 ↗
传统工具 + AI

Playwright

MCP技能

Agent 生态事实上的标准浏览器自动化框架。

开源免费Apache-2.0官网 ↗
传统工具 + AI

Keploy

技能

用 eBPF 捕获流量,回放为带 mock 的集成测试。

开源免费Apache-2.0官网 ↗
Agent 式 QA

Ranger

为 agent 刚写出的代码提供验证基础设施。

客户包括 OpenAI、Suno、Clay 和 Dust。

闭源付费累计融资 $8.9M官网 ↗
Agent 式 QA

QA Wolf

“人工 + AI”即服务,交付归你所有的 Playwright 代码。

闭源企业版累计融资 $57M官网 ↗
Agent 式 QA

Meticulous

模拟真实用户会话,对变更前后进行视觉 diff。

总部位于伦敦。2026 年 7 月完成 1500 万美元 A 轮融资,由 Chemistry 领投,Menlo 参投;自称 ARR 同比增长 5 倍。

闭源付费累计融资 $15M官网 ↗
Agent 式 QA

Momentic

Agentic 端到端测试,在运行时解析意图而非生成代码。

2025-11-24 完成 1500 万美元 A 轮融资,由 Standard Capital 领投,Dropbox Ventures 参投。自称每月执行 2 亿多个测试步骤。

闭源付费累计融资 $18.7M官网 ↗