行业与实践 · 标签「Agent」

最新优先最早优先

查看全部

研究与基准测试2026-09-3010 分钟
判对也会编证据：蚂蚁 ATAR 把真阳性幻觉压到 7.2%
蚂蚁实习期间完成的 ATAR 用 22 个鉴识工具做多轮伪造检测。六套零样本 IMDL 图像级 F1 78.5%，随机工具比不用工具更差。去掉推理奖励后分类只掉 0.6 个百分点，真阳性幻觉从 7.2% 升到 21.6%。
研究与基准测试2026-09-2911 分钟
会话级正确率不到 5%：百度 CypherTurn 测的是多轮 Cypher，不是单条查询
百度参与的 CypherTurn 用 721 个会话、5927 轮评多轮 Text-to-Cypher。引导协议最好只到 64.7% 执行准确率，会话全对最高 33/721。换成自主协议后榜首从 Claude 换成 Gemini，加到 10 倍动作预算也补不回。
研究与基准测试2026-09-2811 分钟
计划先定死再写：美团 LongCat 用 ResearchSpec 评深度研究
公开三套基准分别高出对照里最强的 0.30、3.17、5.62。内部基准 76.04，仍比 ChatGPT 的完整 Deep Research 低 0.55。计划固定后不再重开，编辑加轮次也不保证每项都涨。
研究与基准测试2026-09-276 分钟
Agent 评测到底在测什么：说「订好了」不算数
打分要打在环境的最终状态上，不是它轨迹里说的那句完成。同一道题多跑几遍，失败样本先人工看再归类。
研究与基准测试2026-09-2722 分钟
LLM Agent 的评测与基准：一篇综述
SAP Labs 四位作者的 KDD '25 综述全译：按「评什么」和「怎么评」两条轴整理 Agent 评测，并指出企业场景特有的访问控制、可靠性和合规挑战。原文 CC BY 4.0。
研究与基准测试2026-09-2710 分钟
先检查只有 8.1%：字节 TraceDance 用部署轨迹评下一回合
252557 个会话做成 107 个基准。九模型在 4065 条上的平均通过率 26.7%，最高是 Claude Opus 4.8 的 33.5%。先检查只有 8.1%。第二到第五名的名次区间重叠。
研究与基准测试2026-09-215 分钟
FinFIRST：金融搜索 Agent 不只要答对，还要能溯源
蚂蚁百灵团队联合北京大学与中金公司投资银行团队公开的 FinFIRST，把金融搜索 Agent 的评测重点从最终答案扩展到信息检索、引用来源和全过程可追踪性。
研究与基准测试2026-09-208 分钟
29 项平均分涨超 25%，时价按两分钟的 30 倍估算：Qwen3.8-Omni-Flash
Qwen3.8-Omni-Flash 的 29 项平均分比 Qwen3.5-Omni-Plus 提高超过 25%。OmniVideoBench 上准确率 63.4 到 67.8，token 从 145736 降到 79117。时价降幅按两分钟成本的 30 倍估算，不是准确率。
研究与基准测试2026-09-118 分钟
一句话要拆成四件事：腾讯云 ADP 的酒店 Agent 只公开了两项线上数字
腾讯云 ADP 用华住会、尚美数智和美住美宿说明酒店 Agent 怎么测到能上线：一句话拆成四个并发任务，首 Token 5 秒内，常见客需准确率 95% 以上。调价缺数据时必须人工复核。
研究与基准测试2026-09-098 分钟
咨询 17 万次，办结只有 230 笔：腾讯云 ADP 的政企案例把两口径分开了
腾讯云 ADP 用邯郸公积金、宝安小宝和广西汇小二说明政企智能体不能只看回答准确率。年报把咨询 17 余万次和办结 230 余笔分开写。单笔从 15 分钟到 3 分钟。这些数不是对照实验。
研究与基准测试2026-09-099 分钟
跨设备依赖一断就归零：百度参与的 JarvisGUI 用终态评 GUI
150 道组合题，最好的整题成功是 HOLO2 的 12/150（8.0%）。多设备有依赖的整题成功率最高 2.0%，六行里四行是 0。换规划器到 Kimi K2.6，这一格仍是 2.0。
研究与基准测试2026-08-3111 分钟
结果分看不出断在哪一步：美团 ATLAS 给工具 Agent 做双时段诊断
41 个 LLM 诊断信号。校准后的 ATLAS Judge 总 F1 0.952，高于只给任务定义的 0.800。蒸馏到 9B 后 17 项总 F1 94.6，仍低于 DeepSeek-V4-Pro 的 96.4。线上三天 10% 流量，会话跟进率 +6.9%，付费 GTV +7.32%，抽查的 P0 幻觉 −6.9 个百分点。
研究与基准测试2026-08-285 分钟
华为云 AgentArts 智能体评估：把“能回答”变成可回归的工程系统
华为云 AgentArts 的官方评估实践把智能体测试从“开发者手动聊几轮”推进到可重复、可量化、可定位的评测流程。对企业来说，重点不是一次跑出一个分数，而是建立基线、识别能力洼地，并在每次 Prompt、知识库或工具改动后验证是否回归。
研究与基准测试2026-08-285 分钟
PawBench：Agent 的成绩，不只属于模型
通义实验室公开的 PawBench 用 4,050 个测试单元回答一个常被忽略的问题：Agent 失败时，究竟是模型能力不足，还是 Harness 没有把能力稳定地转化为执行结果？
研究与基准测试2026-08-2810 分钟
32K 窗口打过 128K 裸模型：腾讯 ContextPilot 评主动上下文管理
Qwen3-8B 只配工具，四套均值从 45.93 掉到 27.61；训完 ContextPilot-8B-RL 是 69.40，窗口只有 32K。深度搜索平均分高于 SUPO，但 WebExplorer 的 xBench 仍是 56.67 对 58.00。
研究与基准测试2026-08-2711 分钟
整题只有 2.8%：蚂蚁 UI-Venus-2 用关键点把 GUI 轨迹和单步分开评
27B 在 OSWorld 2.0 的 108 题、150 步上整题只有 2.8%，部分分 13.2。MobileWorld 50 步 76.1，低于 Qwen-UI-Agent 的 82.1。WebVoyager 刷新子集 93.4。OSBlind 的攻击成功率仍是 47.9。
研究与基准测试2026-08-268 分钟
最高分要写明用的哪套 Harness：Qwen3.8-Flash-Next 把评测口径放进脚注
Qwen 团队 2026-08-26 发布 Qwen3.8-Flash-Next 时，把 DeepSWE、SWE-bench、OSWorld 的 Harness、温度、上下文和裁判模型写进脚注。同一行分数不能当成同场裸分。
研究与基准测试2026-08-179 分钟
规则裁判满分只有 5.6%：腾讯朱雀用 14560 次运行评 DeepSeek Harness
14560 次受控运行。规则裁判满分 819 次（5.6%），语义裁判 772 次（5.3%）。文件模式的隐藏 Unicode 通道是 116/455，即 25.5%。汇点是模拟的，不代表真实外发。
研究与基准测试2026-08-1611 分钟
进度 76.86，整题只有 41.00：腾讯 UI-Mate 用检查点评办公 GUI
OSWorkerBench 100 题、上限 200 步。27B 进度 76.86，整题成功 41.00，只比 Kimi-K2.6 的 40.67 高 0.33。OSWorld-Verified 77.0，低于 GPT-5.5 的 78.7。自演示的 30 题是按「没演示就失败」挑的。
研究与基准测试2026-08-1310 分钟
做得多不等于验得上：阿里云 ATOBench 把证据链从结果里拆出来
450 个回合、225 对。直接证明的 grounded verification 从 44.0% 到 0%，五个模型全是 0。归属从 45.3% 到 40.0%，凭据从 84.0% 到 58.7%。动作变多没有把证明找回来。