行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-10-0512 分钟
失败透明的智能体：工具失败之后，模型还会不会谎报成功
FTA 把失败轨迹事先固定，只评测最终报告是否被证据支持。六个模型、3600 条人工标注里，基线虚假成功 22.8%，透明指令 9.3%，结构化证据契约 0.8%，有用回答不降反升。
研究与基准测试2026-09-3010 分钟
判对也会编证据：蚂蚁 ATAR 把真阳性幻觉压到 7.2%
蚂蚁实习期间完成的 ATAR 用 22 个鉴识工具做多轮伪造检测。六套零样本 IMDL 图像级 F1 78.5%，随机工具比不用工具更差。去掉推理奖励后分类只掉 0.6 个百分点，真阳性幻觉从 7.2% 升到 21.6%。
研究与基准测试2026-09-168 分钟
RAG 上线前要单独防幻觉：华为云把 context 和标准答案拆开
华为云 AgentArts 的 RAG 评估要求先发布智能体，评测集初始 30 到 50 条，并用 context 判断是不是瞎编、用 reference_output 判断对不对。字段映射错了，整次评估作废。
研究与基准测试2026-09-156 分钟
只看正确性会放过过程错误：华为云把评估器分成三类
华为云 AgentArts 预置 50 多个评估器。只拿正确性满分不能上线：订票答对却没调 API、事实对但风格不合、回答正确却带偏见，都要靠结果、调用链和体验三类评估器互相制约。
研究与基准测试2026-07-167 分钟
从抽样聊天到可回归：华为云 AgentArts 的智能体评估方法
华为云 AgentArts 用评测集、40 多个评估器和评估任务替换 5 到 10 条手测。流程是 30 到 50 条基线、低分下钻、按病因改提示词或工具、同一评测集回归。裁判打分并非 100% 完美，允许改分作真值。

失败透明的智能体：工具失败之后，模型还会不会谎报成功

判对也会编证据：蚂蚁 ATAR 把真阳性幻觉压到 7.2%

RAG 上线前要单独防幻觉：华为云把 context 和标准答案拆开

只看正确性会放过过程错误：华为云把评估器分成三类

从抽样聊天到可回归：华为云 AgentArts 的智能体评估方法