行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-08-258 分钟
预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打
阿里云 AgentLoop 评估器分 Agent Judge 和 Code。预置六项只有用途，没有准确率。名称和类型创建后不能改。Score 和 Reason 必选，CoT 可选。优势段写了 MCP，创建步骤只写上传 SKILL.md。
研究与基准测试2026-08-207 分钟
采样可以拉到 100%，最大样本数却没写死：阿里云 AgentLoop 的评估任务
阿里云 AgentLoop 评估任务的数据来自链路、日志或数据集。采样比例是 0% 到 100%。页面建议上线前用 100%，线上监控用 10% 到 50%，但没有给出最大样本数。删除任务不影响查看历史数据。
研究与基准测试2026-08-178 分钟
告警多不等于风险准：阿里云 AgentLoop 先把高风险队列做实
阿里云 2026-08-17 的 AgentLoop Audit 把局部命中和上下文判定分开。截图里凭证泄漏影响 6 个应用，模型侧 38 次提交、43 次回复泄漏。这些是运营计数，不是检出率。
研究与基准测试2026-08-1211 分钟
描述不可信：阿里云用三天把 UGC 游戏 Agent 收成可回归
阿里云 AgentLoop 在 UGC 游戏 Agent 上用 3 天走完观测、分层评估、根因和回归。事实层按正确项除以正确加错误项打分，一条样本 16 项里 9 项错。回写后的新分数没有公布。
研究与基准测试2026-07-209 分钟
AgentLoop：先记下轨迹，再谈 Agent 评测和优化
阿里云 AgentLoop 把企业级 Agent 的优化写成观测、轨迹分析、评测、回测和持续优化五环。在线评测没有标准答案，实验评测用标注集打分，低分样本回流基线集。
研究与基准测试2026-07-0110 分钟
轨迹比答案难评：阿里云把 Agent 评测拆成步骤、路径和结果
阿里云 AgentLoop 把企业 Agent 飞轮写成采集轨迹、自动建 Golden 和 BadCase、再用 Agent 做评测。文中给出 55 个字段、84% 覆盖率和三层评分，并标明哪些数字来自外部论文。

预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打

采样可以拉到 100%，最大样本数却没写死：阿里云 AgentLoop 的评估任务

告警多不等于风险准：阿里云 AgentLoop 先把高风险队列做实

描述不可信：阿里云用三天把 UGC 游戏 Agent 收成可回归

AgentLoop：先记下轨迹，再谈 Agent 评测和优化

轨迹比答案难评：阿里云把 Agent 评测拆成步骤、路径和结果