Not translated yet — showing the Chinese originals.

Industry & Practice · Techniques & Tutorials

Newest firstOldest first

RSS

Newest firstOldest first

Methods you can follow: a problem, the steps, the code, and how to tell whether it worked.

Show everything

Techniques & Tutorials2026-10-1124 min
技能一直在改：过程级评测才能拦住看起来正确的回归
240 次试验里，175 次最终数字全对，其中 162 次（92.6%）仍有过程偏离。放宽到 7 项最终状态后，164 次通过里仍有 151 次（92.1%）违反轨迹检查。
Techniques & Tutorials2026-10-1128 min
工具失败之后：智能体会把没返回的值说成答案
1,024 条评测把工具失败后的决定单独隔开。部署提示下不诚实率 14.10%，无信号失败最高 45.3%。点名失败状态的一句防御把不诚实率降到 0.87%。
Techniques & Tutorials2026-10-1122 min
AEVAL：把智能体技能测试从凭印象改成可重复
NVIDIA 的 AEVAL 把技能变更接进 CI：执行器与评分器分开，按首次尝试而不是修补后的结果打分。故意写错动作名的分割技能，幼稚评测给 100% 通过，协议则记下 3 次首次错误和 2 处改动。Claude 家族与 GPT 家族的平均因果占比分别是 0.41 和 0.82。
Techniques & Tutorials2026-10-1019 min
提示词对不上规则：语音用户模拟器要报实现了的自然度
Dialpad 审计语音用户模拟器。提示不流利时，填充词堆在话轮开头，重复率最高每千词 2.96；规则注入到 47.06。τ-Voice 每三个智能体话轮接近两次打断，附和转化率只有 1.02%。
Techniques & Tutorials2026-10-1014 min
工具智能体评测审计：子串判定接近偶然，参数错误约六成传到错答案
AgentProp-Bench 用 14,750 条轨迹审计自动评测。子串判定与人工的 κ 只有 0.049；三模型集成 0.432。参数错误传到错答案的校准概率约 0.62。拒绝和恢复互不相关。编造工具调用最多占 37.5%。
Techniques & Tutorials2026-10-1025 min
实时语音智能体评测：从部件质量到可核验的结果
Walmart Global Tech 综述 38 份来源、41 篇 PDF，把实时语音智能体分成六类。端到端最快约 702 毫秒，级联可到 516 毫秒，但架构不是判决。评测应同时报告时序、恢复和可核验结果。
Techniques & Tutorials2026-10-1028 min
信任层：已记录的通过，四项检查后还剩 22.6%
Centific 在基准分数旁边加四项核验：评分器能否复现、通过是否可追溯、完成声明是否为假、五次重复是否换档。108 道 ALE 任务、五种配置上，84 次已记录通过只有 19 次全部通过（22.6%，95% 区间 15.0–32.6）。没干活就通过的比例，模型之间相差约十倍。
Techniques & Tutorials2026-10-0916 min
LiteTrajEval：用一次评判、固定预算给生产轨迹定位失败
华为把轨迹评测收成一次量表评判。相对 AgentRx，Magentic-One 上失败定位对齐大约高 20–35 个百分点，同一 GPT-5-mini 下总费用从 2.4628 美元降到 0.4155 美元，评测时间从 15,990 秒降到 1,840 秒。只靠规则时，τ-retail 检出率只有 31.0%。
Techniques & Tutorials2026-10-0816 min
Transect：让长程大语言模型智能体评测仍然可观测
英国 AISI 的开源包 Transect 把长程智能体轨迹对齐到同一条回合时间线上。一次人工智能研发影子评测生成约 1300 万 token，89% 在子智能体里；580 次编排者输出中只有 2 次被标为提出假设，自审和写稿约占 1450 万新工作 token 的四分之三。
Techniques & Tutorials2026-10-0418 min
当 Harness 丢失信号：用配对实验分开挽救和伤害
北京师范大学与贝壳的预印本把智能体恢复看成因果决策：从同一状态比较刷新与不刷新，把挽救和伤害拆开。在 Qwen3-14B 的 ALFWorld 上，因果干预路由器 CIR 把成功率从 70.33% 提到 73.33%，且不触碰观察正确的轨迹。返回的新观察并不是收益的唯一来源。
Techniques & Tutorials2026-10-0412 min
人机 Agent 团队课：从单人助手到多人协作
Anthropic 公开课把 Agent 从单人聊天改成多人协作：四条原则、上线前五问、前两周清单，以及技能、子 Agent 和 MCP 三条开发课怎么接上。
Techniques & Tutorials2026-09-283 min
先看一条轨迹，再给对话打分
GitHub 上的 Arize Phoenix 用来把一次模型调用拆开：输入、工具、检索和最终回答。适合已经有对话功能、但还不知道坏在哪一步的人。不打榜，也不代替 Promptfoo 的规则断言。
Techniques & Tutorials2026-09-284 min
有检索才用 RAGAS：知识库问答的第一条检查
只给会先查文档再回答的系统。用官方 ragas quickstart 生成项目，人写问题和当时检索到的原文。它看回答有没有贴着查出来的文字，不证明业务规则，也不代替接口测试。
Techniques & Tutorials2026-09-283 min
AI 写的代码，你敢直接合并吗？代码评审从看 diff 到看证据
改动不大不等于影响不大：一处公共方法、一个新参数、一条只在超时重试时才走到的分支，都不在 diff 里。本文讲为什么只看 git diff 撑不起 AI 代码的评审，以及证据化评审先收什么证据、怎么下结论，附 2 分钟视频。
Techniques & Tutorials2026-09-2810 min
功能测试的第一条 AI 门禁：Promptfoo 管死规矩，DeepEval 管答得像不像
给刚转行的功能测试一条能变红的检查。Promptfoo 用 contains 和 not-contains 守退货规则里必须说和绝不能说的句子，先用 echo 不花钱看失败。DeepEval 只用几条人手写的标准答案看意思对不对。不讲榜单，不把模型的回答当成预期。
Techniques & Tutorials2026-09-285 min
AI 写用例，和测智能体，不是同一件事
对照两类入门材料各自覆盖的范围：一类是用模型起草用例和自动化脚本，一类是给问答、客服做评测。按你这周要做的事选一边。
Techniques & Tutorials2026-09-2716 min
浏览器测试不该再看图点坐标
Jev Browser 先给页面控件编号，模型只能在这份清单里做选择题。模型说完成不算通过，要通过还得看见页面上的证据。
Techniques & Tutorials2026-09-2724 min
RAG-Tester：检索增强大语言模型的自动化端到端测试
Mondragon 大学论文全译：自动生成检索文档和测试输入，72,000 次执行检出 21,633 个失败，24 个配置中 20 个胜过基线；LLM 裁判 oracle 精确率 80.6%。真实 PDF 比 AI 生成 PDF 多暴露 64.4% 失败。原文 CC BY 4.0。
Techniques & Tutorials2026-08-203 min
技能还是 MCP 服务器？从 token 成本给出答案
离散命令用封装 CLI 的技能，多轮要保住同一个浏览器时用 MCP。约 11 万对 2.7 万 token 只是方向，不是预算。
Techniques & Tutorials2026-08-182 min
测试一个“听起来对、实际上错”的 RAG 流水线
上下文精确率、召回率、忠实度和答案相关度必须分开看。五十条审过的问答，胜过五百条爬来的。