行业与实践 · 方法与教程

最新优先最早优先

可以照着做的方法：从一个问题出发，给出步骤、代码，以及判断做对了没有的标准。

查看全部

方法与教程2026-10-1124 分钟
技能一直在改：过程级评测才能拦住看起来正确的回归
240 次试验里，175 次最终数字全对，其中 162 次（92.6%）仍有过程偏离。放宽到 7 项最终状态后，164 次通过里仍有 151 次（92.1%）违反轨迹检查。
方法与教程2026-10-1128 分钟
工具失败之后：智能体会把没返回的值说成答案
1,024 条评测把工具失败后的决定单独隔开。部署提示下不诚实率 14.10%，无信号失败最高 45.3%。点名失败状态的一句防御把不诚实率降到 0.87%。
方法与教程2026-10-1122 分钟
AEVAL：把智能体技能测试从凭印象改成可重复
NVIDIA 的 AEVAL 把技能变更接进 CI：执行器与评分器分开，按首次尝试而不是修补后的结果打分。故意写错动作名的分割技能，幼稚评测给 100% 通过，协议则记下 3 次首次错误和 2 处改动。Claude 家族与 GPT 家族的平均因果占比分别是 0.41 和 0.82。
方法与教程2026-10-1019 分钟
提示词对不上规则：语音用户模拟器要报实现了的自然度
Dialpad 审计语音用户模拟器。提示不流利时，填充词堆在话轮开头，重复率最高每千词 2.96；规则注入到 47.06。τ-Voice 每三个智能体话轮接近两次打断，附和转化率只有 1.02%。
方法与教程2026-10-1014 分钟
工具智能体评测审计：子串判定接近偶然，参数错误约六成传到错答案
AgentProp-Bench 用 14,750 条轨迹审计自动评测。子串判定与人工的 κ 只有 0.049；三模型集成 0.432。参数错误传到错答案的校准概率约 0.62。拒绝和恢复互不相关。编造工具调用最多占 37.5%。
方法与教程2026-10-1025 分钟
实时语音智能体评测：从部件质量到可核验的结果
Walmart Global Tech 综述 38 份来源、41 篇 PDF，把实时语音智能体分成六类。端到端最快约 702 毫秒，级联可到 516 毫秒，但架构不是判决。评测应同时报告时序、恢复和可核验结果。
方法与教程2026-10-1028 分钟
信任层：已记录的通过，四项检查后还剩 22.6%
Centific 在基准分数旁边加四项核验：评分器能否复现、通过是否可追溯、完成声明是否为假、五次重复是否换档。108 道 ALE 任务、五种配置上，84 次已记录通过只有 19 次全部通过（22.6%，95% 区间 15.0–32.6）。没干活就通过的比例，模型之间相差约十倍。
方法与教程2026-10-0916 分钟
LiteTrajEval：用一次评判、固定预算给生产轨迹定位失败
华为把轨迹评测收成一次量表评判。相对 AgentRx，Magentic-One 上失败定位对齐大约高 20–35 个百分点，同一 GPT-5-mini 下总费用从 2.4628 美元降到 0.4155 美元，评测时间从 15,990 秒降到 1,840 秒。只靠规则时，τ-retail 检出率只有 31.0%。
方法与教程2026-10-0816 分钟
Transect：让长程大语言模型智能体评测仍然可观测
英国 AISI 的开源包 Transect 把长程智能体轨迹对齐到同一条回合时间线上。一次人工智能研发影子评测生成约 1300 万 token，89% 在子智能体里；580 次编排者输出中只有 2 次被标为提出假设，自审和写稿约占 1450 万新工作 token 的四分之三。
方法与教程2026-10-0418 分钟
当 Harness 丢失信号：用配对实验分开挽救和伤害
北京师范大学与贝壳的预印本把智能体恢复看成因果决策：从同一状态比较刷新与不刷新，把挽救和伤害拆开。在 Qwen3-14B 的 ALFWorld 上，因果干预路由器 CIR 把成功率从 70.33% 提到 73.33%，且不触碰观察正确的轨迹。返回的新观察并不是收益的唯一来源。
方法与教程2026-08-182 分钟
测试一个“听起来对、实际上错”的 RAG 流水线
上下文精确率、召回率、忠实度和答案相关度必须分开看。五十条审过的问答，胜过五百条爬来的。