CodexQA
Tools

AI testing tools

25 tools

What each tool does, what it costs, whether it ships an agent-facing surface, and whether it is still alive.

LLM ObservabilityShut down

Tracewell

LLM 调用链追踪与成本看板。

2026-02-28 关闭服务,官网已下线。数据导出窗口已于 2026-03-31 结束。

ProprietaryPaid
LLM Evaluation

EvalMesh

MCP

分布式 LLM 评测调度,把评测任务打散到多家模型供应商。

Open CoreFreemiumMITFunding raised $9.5MHomepage ↗
AI-Native Test AutomationMaintenance mode

PixelProof

AI 驱动的视觉回归,按语义而不是像素比对。

2026-06-30 宣布进入维护模式:不再有新功能,团队转向其他产品。现有客户可继续使用。

ProprietaryFreemiumFunding raised $6.5MHomepage ↗
Traditional + AIAcquired · GridForge

Oldtown QA Suite

传统录制回放工具,近年加入了 AI 自愈定位器。

2026-04-15 被 GridForge 收购。现有许可证维持到 2027 年底,之后迁移到 GridForge Device Cloud。

ProprietaryPaidHomepage ↗
Red Teaming & Safety

Sentinel Red

Skill

面向 LLM 应用的开源红队框架,自带 agent 技能。

Open SourceFreeApache-2.0Homepage ↗
Infrastructure & Device Cloud

Harborlane

按需拉起的临时测试环境,每个 PR 一套。

Open CoreFreemiumApache-2.0Homepage ↗
Infrastructure & Device Cloud

GridForge Device Cloud

MCP

真机云,支持 agent 通过 MCP 申领设备并回传录屏。

ProprietaryEnterpriseFunding raised $42MHomepage ↗
LLM Evaluation

DeepEval

Skill

原生基于 pytest 的 LLM 评测,60 多种指标。

Open CoreFreemiumApache-2.0Homepage ↗
AI-Native Test AutomationAcquired · Tricentis

Testim

以定位器稳定性为核心的测试编写工具,现已归入 Tricentis。

被 Tricentis 收购;Tricentis 还收购了 Waldo(2023-07-07)和 Tabnine(2026-07-30)。

ProprietaryEnterpriseHomepage ↗
LLM EvaluationShut down

Humanloop

LLM 评测与 prompt 管理——已停止服务。

2025-08-14 被 Anthropic 收购;平台于 2025-09-08 停止服务。在此保留条目,是为了让仍在引用它的评测不被误导。

ProprietaryPaidHomepage ↗
LLM ObservabilityMaintenance mode

Helicone

LLM 可观测性代理——现已进入维护模式。

2026-03-03 被 Mintlify 收购并进入维护模式:仅提供安全补丁、bug 修复和新模型支持,没有路线图。Mintlify 正在主动协助客户迁移。

Open CoreFreemiumHomepage ↗
LLM Observability

Arize Phoenix

Skill

LLM 追踪与评测,可在 ELv2 许可下自托管。

Elastic License 2.0,并非 OSI 认可的开源许可:允许自托管,不允许作为托管服务转售。

Open CoreFreemiumELv2Homepage ↗
Red Teaming & SafetyAcquired · OpenAI

Promptfoo

Skill

声明式 LLM 评测与红队测试,质量回退即让构建失败。

2026-03-09 被 OpenAI 收购;团队承诺继续保持 MIT 许可,相关技术并入 OpenAI Frontier。收购时拥有 125,000 多名开发者和 30 多家财富 500 强客户。

Open SourceFreemiumMITHomepage ↗
LLM ObservabilityAcquired · ClickHouse

Langfuse

开源的 LLM 可观测性与追踪。

2026-01-16 被 ClickHouse 收购,与 ClickHouse 4 亿美元 D 轮融资同时宣布。ClickHouse 承诺核心部分保持 MIT 许可,自托管继续免费。

Open CoreFreemiumMITHomepage ↗
AI-Native Test Automation

mabl

统一的 Web、API、性能和可访问性测试,带自愈能力。

ProprietaryEnterpriseHomepage ↗
AI-Native Test Automation

testRigor

用自然语言编写测试,覆盖 Web、移动端、桌面、邮件、短信和主机系统。

ProprietaryPaidHomepage ↗
AI-Native Test Automation

Katalon

把 AI agent 纳入治理与可追溯体系的测试平台。

ProprietaryFreemiumHomepage ↗
AI-Native Test AutomationAcquired · Thoma Bravo

Applitools

可接入任何现有框架的视觉 AI 回归测试。

2021 年被 Thoma Bravo 收购,仍在积极开发。Applitools 于 2026 年 4 月公开表示 Test Automation University“一直比较沉寂”,正在重新规划。

ProprietaryFreemiumHomepage ↗
Traditional + AI

Playwright

MCPSkill

Agent 生态事实上的标准浏览器自动化框架。

Open SourceFreeApache-2.0Homepage ↗
Traditional + AI

Keploy

Skill

用 eBPF 捕获流量,回放为带 mock 的集成测试。

Open SourceFreeApache-2.0Homepage ↗
Agentic QA

Ranger

为 agent 刚写出的代码提供验证基础设施。

客户包括 OpenAI、Suno、Clay 和 Dust。

ProprietaryPaidFunding raised $8.9MHomepage ↗
Agentic QA

QA Wolf

“人工 + AI”即服务,交付归你所有的 Playwright 代码。

ProprietaryEnterpriseFunding raised $57MHomepage ↗
Agentic QA

Meticulous

模拟真实用户会话,对变更前后进行视觉 diff。

总部位于伦敦。2026 年 7 月完成 1500 万美元 A 轮融资,由 Chemistry 领投,Menlo 参投;自称 ARR 同比增长 5 倍。

ProprietaryPaidFunding raised $15MHomepage ↗
Agentic QA

Momentic

Agentic 端到端测试,在运行时解析意图而非生成代码。

2025-11-24 完成 1500 万美元 A 轮融资,由 Standard Capital 领投,Dropbox Ventures 参投。自称每月执行 2 亿多个测试步骤。

ProprietaryPaidFunding raised $18.7MHomepage ↗