LLM 可观测性已停止服务
Tracewell
LLM 调用链追踪与成本看板。
2026-02-28 关闭服务，官网已下线。数据导出窗口已于 2026-03-31 结束。
闭源付费
工具
AI 测试工具
9 个工具
每个工具做什么、收多少钱、有没有面向 agent 的接口、以及它还活着没有。
LLM 评测
EvalMesh
MCP
分布式 LLM 评测调度，把评测任务打散到多家模型供应商。
红队与安全
Sentinel Red
技能
面向 LLM 应用的开源红队框架，自带 agent 技能。
LLM 评测
DeepEval
技能
原生基于 pytest 的 LLM 评测，60 多种指标。
LLM 评测已停止服务
Humanloop
LLM 评测与 prompt 管理——已停止服务。
2025-08-14 被 Anthropic 收购；平台于 2025-09-08 停止服务。在此保留条目，是为了让仍在引用它的评测不被误导。
LLM 可观测性维护模式
Helicone
LLM 可观测性代理——现已进入维护模式。
2026-03-03 被 Mintlify 收购并进入维护模式：仅提供安全补丁、bug 修复和新模型支持，没有路线图。Mintlify 正在主动协助客户迁移。
LLM 可观测性
Arize Phoenix
技能
LLM 追踪与评测，可在 ELv2 许可下自托管。
Elastic License 2.0，并非 OSI 认可的开源许可：允许自托管，不允许作为托管服务转售。
红队与安全被收购 · OpenAI
Promptfoo
技能
声明式 LLM 评测与红队测试，质量回退即让构建失败。
2026-03-09 被 OpenAI 收购；团队承诺继续保持 MIT 许可，相关技术并入 OpenAI Frontier。收购时拥有 125,000 多名开发者和 30 多家财富 500 强客户。
LLM 可观测性被收购 · ClickHouse
Langfuse
开源的 LLM 可观测性与追踪。
2026-01-16 被 ClickHouse 收购，与 ClickHouse 4 亿美元 D 轮融资同时宣布。ClickHouse 承诺核心部分保持 MIT 许可，自托管继续免费。