行业与实践 · 标签「工具调用」

最新优先最早优先

查看全部

研究与基准测试2026-10-1420 分钟
GeoNatureAgent：工具型智能体上线前评测框架与基准
九个模型对着同一套十六工具的地理空间接口做上线前评测。严格评分下最好只有 61.7%，开放权重的 DeepSeek V3.2 用约十一分之一的成本拿到其中 93% 的能力，失败则主要是没调用对工具。
方法与教程2026-10-1014 分钟
工具智能体评测审计：子串判定接近偶然，参数错误约六成传到错答案
AgentProp-Bench 用 14,750 条轨迹审计自动评测。子串判定与人工的 κ 只有 0.049；三模型集成 0.432。参数错误传到错答案的校准概率约 0.62。拒绝和恢复互不相关。编造工具调用最多占 37.5%。
研究与基准测试2026-10-0412 分钟
Agent 基准契约审计（续）：检查器漏掉了大多数缺陷
动态检查器在封闭世界召回很低：33 次漏检里有 29 次已有条款覆盖，却没有探测揭示。AgentDojo 25 个工具里至少 5 个偏离宣称表面。CONFORM 并不确立符合。
研究与基准测试2026-10-0416 分钟
Agent 基准是否做到了它们所说的？对工具型环境的可执行契约审计
佛罗里达国际大学把工具宣称的表面写成可执行契约，在四个基准、34 个会改状态的工具上确认七处缺陷。MedAgentBench 告诉智能体写入已执行，评分器却只读这句话。
研究与基准测试2026-09-237 分钟
慢思考 BFCL v3 到 78.3，τ-Bench 仍低于 o1：腾讯混元把快慢两种思考分开测
慢思考 BFCL v3 为 78.3，τ-Bench 为 54.7，低于 o1 的 60.4。快思考 BFCL v3 掉到 65.9。表 2 相对上一代低了 3 项，不是正文写的 2 项。
研究与基准测试2026-09-156 分钟
只看正确性会放过过程错误：华为云把评估器分成三类
华为云 AgentArts 预置 50 多个评估器。只拿正确性满分不能上线：订票答对却没调 API、事实对但风格不合、回答正确却带偏见，都要靠结果、调用链和体验三类评估器互相制约。
研究与基准测试2026-08-029 分钟
打断回应率 0.88，并行工具调用没超过纯文本：京东 JoyAI-Talker 的全双工评测
打断场景 C_RESPOND 0.88，附和时误触发 0.01。语音工具调用只有 ACEBench 单工具到 98.56，并行项 44.32，低于纯文本的 61.36。没有线上成交。

GeoNatureAgent：工具型智能体上线前评测框架与基准

工具智能体评测审计：子串判定接近偶然，参数错误约六成传到错答案

Agent 基准契约审计（续）：检查器漏掉了大多数缺陷

Agent 基准是否做到了它们所说的？对工具型环境的可执行契约审计

慢思考 BFCL v3 到 78.3，τ-Bench 仍低于 o1：腾讯混元把快慢两种思考分开测

只看正确性会放过过程错误：华为云把评估器分成三类

打断回应率 0.88，并行工具调用没超过纯文本：京东 JoyAI-Talker 的全双工评测