Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “Agent”
Research & Benchmarks//6 min
Sierra 的 τ-bench 从 2024 年 6 月起测工具、Agent 和用户的多轮交互，并用重复成功率暴露一次通过掩盖的不稳定。它后来成为研究和行业评测的参照。
Research & Benchmarks//6 min
Artificial Analysis 介绍的 Terminal-Bench 2.1 仍是 89 道硬任务，但修了环境和指令，让分数反映 Agent 能力而不是环境缺口。评测用 Terminus 2，每题三次取 pass@1。
Research & Benchmarks//10 min
蚂蚁实习期间完成的 ATAR 用 22 个鉴识工具做多轮伪造检测。六套零样本 IMDL 图像级 F1 78.5%，随机工具比不用工具更差。去掉推理奖励后分类只掉 0.6 个百分点，真阳性幻觉从 7.2% 升到 21.6%。
Research & Benchmarks//11 min
百度参与的 CypherTurn 用 721 个会话、5927 轮评多轮 Text-to-Cypher。引导协议最好只到 64.7% 执行准确率，会话全对最高 33/721。换成自主协议后榜首从 Claude 换成 Gemini，加到 10 倍动作预算也补不回。
Research & Benchmarks//11 min
公开三套基准分别高出对照里最强的 0.30、3.17、5.62。内部基准 76.04，仍比 ChatGPT 的完整 Deep Research 低 0.55。计划固定后不再重开，编辑加轮次也不保证每项都涨。
Research & Benchmarks//6 min
打分要打在环境的最终状态上，不是它轨迹里说的那句完成。同一道题多跑几遍，失败样本先人工看再归类。
Research & Benchmarks//22 min
SAP Labs 四位作者的 KDD '25 综述全译：按「评什么」和「怎么评」两条轴整理 Agent 评测，并指出企业场景特有的访问控制、可靠性和合规挑战。原文 CC BY 4.0。
Research & Benchmarks//10 min
252557 个会话做成 107 个基准。九模型在 4065 条上的平均通过率 26.7%，最高是 Claude Opus 4.8 的 33.5%。先检查只有 8.1%。第二到第五名的名次区间重叠。
Research & Benchmarks//5 min
蚂蚁百灵团队联合北京大学与中金公司投资银行团队公开的 FinFIRST，把金融搜索 Agent 的评测重点从最终答案扩展到信息检索、引用来源和全过程可追踪性。
Research & Benchmarks//8 min
Qwen3.8-Omni-Flash 的 29 项平均分比 Qwen3.5-Omni-Plus 提高超过 25%。OmniVideoBench 上准确率 63.4 到 67.8，token 从 145736 降到 79117。时价降幅按两分钟成本的 30 倍估算，不是准确率。
Research & Benchmarks//8 min
腾讯云 ADP 用华住会、尚美数智和美住美宿说明酒店 Agent 怎么测到能上线：一句话拆成四个并发任务，首 Token 5 秒内，常见客需准确率 95% 以上。调价缺数据时必须人工复核。
Research & Benchmarks//8 min
腾讯云 ADP 用邯郸公积金、宝安小宝和广西汇小二说明政企智能体不能只看回答准确率。年报把咨询 17 余万次和办结 230 余笔分开写。单笔从 15 分钟到 3 分钟。这些数不是对照实验。
Research & Benchmarks//9 min
150 道组合题，最好的整题成功是 HOLO2 的 12/150（8.0%）。多设备有依赖的整题成功率最高 2.0%，六行里四行是 0。换规划器到 Kimi K2.6，这一格仍是 2.0。
Research & Benchmarks//11 min
41 个 LLM 诊断信号。校准后的 ATLAS Judge 总 F1 0.952，高于只给任务定义的 0.800。蒸馏到 9B 后 17 项总 F1 94.6，仍低于 DeepSeek-V4-Pro 的 96.4。线上三天 10% 流量，会话跟进率 +6.9%，付费 GTV +7.32%，抽查的 P0 幻觉 −6.9 个百分点。
Research & Benchmarks//5 min
华为云 AgentArts 的官方评估实践把智能体测试从“开发者手动聊几轮”推进到可重复、可量化、可定位的评测流程。对企业来说，重点不是一次跑出一个分数，而是建立基线、识别能力洼地，并在每次 Prompt、知识库或工具改动后验证是否回归。
Research & Benchmarks//5 min
通义实验室公开的 PawBench 用 4,050 个测试单元回答一个常被忽略的问题：Agent 失败时，究竟是模型能力不足，还是 Harness 没有把能力稳定地转化为执行结果？
Research & Benchmarks//10 min
Qwen3-8B 只配工具，四套均值从 45.93 掉到 27.61；训完 ContextPilot-8B-RL 是 69.40，窗口只有 32K。深度搜索平均分高于 SUPO，但 WebExplorer 的 xBench 仍是 56.67 对 58.00。
Research & Benchmarks//11 min
27B 在 OSWorld 2.0 的 108 题、150 步上整题只有 2.8%，部分分 13.2。MobileWorld 50 步 76.1，低于 Qwen-UI-Agent 的 82.1。WebVoyager 刷新子集 93.4。OSBlind 的攻击成功率仍是 47.9。
Research & Benchmarks//8 min
Qwen 团队 2026-08-26 发布 Qwen3.8-Flash-Next 时，把 DeepSWE、SWE-bench、OSWorld 的 Harness、温度、上下文和裁判模型写进脚注。同一行分数不能当成同场裸分。
Research & Benchmarks//9 min
14560 次受控运行。规则裁判满分 819 次（5.6%），语义裁判 772 次（5.3%）。文件模式的隐藏 Unicode 通道是 116/455，即 25.5%。汇点是模拟的，不代表真实外发。
