行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-09-188 分钟
评测集不是聊天记录：华为云 AgentArts 要求先对齐评估器
华为云 AgentArts 把评测集当成考卷：至少 30 到 50 条，正向、边界、对抗、安全大约按 50%、20%、20%、10% 配置。防幻觉必须单列 context，actual_output 不能提前写进试卷。
研究与基准测试2026-09-168 分钟
RAG 上线前要单独防幻觉：华为云把 context 和标准答案拆开
华为云 AgentArts 的 RAG 评估要求先发布智能体，评测集初始 30 到 50 条，并用 context 判断是不是瞎编、用 reference_output 判断对不对。字段映射错了，整次评估作废。
研究与基准测试2026-09-146 分钟
先洗出一百到两百张工单：腾讯云 ADP 把 FDE 验收落在回归评测上
腾讯云 ADP 建议 FDE 用 100 到 200 条真实工单做黄金测试集，回归上下文召回率、回答真实度和业务切题度。认证考试 70 分是考试线，不是 Agent 准确率。
研究与基准测试2026-09-1011 分钟
评测集守住已知：美团把 Agent 评测拆成四块和两条闭环
美团图灵 Agent 评测把体系写成四模块、三种能力和两条 Loop。离线回测守已知，在线 AB、影子和巡检发现未知。文中的 68%、95% 是商家经营分析例子，不是公布的线上成绩。
研究与基准测试2026-08-056 分钟
同一套卷子才算回归：华为云把 RAG 优化收成闭环
华为云 AgentArts 把 RAG 优化收成评估、分析、改文档或配置、再回归。每个场景至少 30 到 50 条。没有 context，幻觉和引用相关性评估器不能工作。回归必须用同一评测集和同一评估器。页面没有给出优化前后的分数。

评测集不是聊天记录：华为云 AgentArts 要求先对齐评估器

RAG 上线前要单独防幻觉：华为云把 context 和标准答案拆开

先洗出一百到两百张工单：腾讯云 ADP 把 FDE 验收落在回归评测上

评测集守住已知：美团把 Agent 评测拆成四块和两条闭环

同一套卷子才算回归：华为云把 RAG 优化收成闭环