工具与框架/2026-10-06/11 分钟Inspect 多智能体:工作流、工具调用和交接怎么选英国 AI Security Institute 的 Inspect 文档:多智能体可以是交接、显式工作流,或把智能体当工具。建议先用 react 基线,再比多智能体。说明 run 不回写求解器状态,以及交接过滤。
工具与框架/2026-10-06/12 分钟Inspect 人工 Agent:用同一套沙箱给智能体任务做人类基线英国 AI Security Institute 的 Inspect 文档:human_cli 不跑模型循环,而是让人登录同一沙箱提交答案。说明任务命令、中途评分、终端录制和无界面登录。
工具与框架/2026-10-06/10 分钟Inspect 扫描器:在评测记录里找拒绝、评测意识和奖励破解英国 AI Security Institute 的 Inspect 文档:扫描器读评测记录,发现写到 scans/ 而不是嵌进日志。说明在线扫描、离线 scout scan、把扫描器当评分器,以及 llm_scanner 和 grep_scanner。
工具与框架/2026-10-06/8 分钟Inspect 工具基础:把 Python 函数登记成模型能调用的工具英国 AI Security Institute 的 Inspect 文档:用 @tool 把 Python 函数登记成工具,经 use_tools 交给模型。说明标准工具、MCP、类型注解为何必填,以及模型并不直接调用函数。
工具与框架/2026-10-04/4 分钟Inspect 评分系统入口:八篇文档各自管哪一段Inspect 的评分页把原始输出收成 Score,再汇总成指标。这一页按原表指向标准评分器、自定义评分器、失败如何入账、模型评分、指标、多个评分器、补评分,以及困惑度。
工具与框架/2026-10-04/12 分钟Inspect 的 ReAct Agent:工具循环、多次尝试和上下文压缩Inspect 把 ReAct 当作评测更复杂 Agent 的基线:工具循环直到 submit(),默认 1 次尝试,可用评分器允许多次重试,并用压缩或截断对付超长上下文。压缩只改模型看到的输入,完整历史仍保留。
工具与框架/2026-10-04/8 分钟Inspect 里的 Agent:同一组件可以当求解器、工具或交接对象英国 AI Security Institute 的 Inspect 文档说明 Agent 协议:同一个 Agent 可以当任务求解器、用 run() 单独跑、用 as_tool() 当工具,或用 handoff() 把整段对话交给另一个 Agent。
工具与框架/2026-10-04/12 分钟Inspect 自定义评分器:Score、未评分样本和评分模型英国 AI Security Institute 的 Inspect 文档:自定义评分器接收 TaskState 和 Target,返回 Score。说明 value 的 C/I/P/N、返回 None 与 Score.unscored() 的差别,以及用 grader 角色调用模型。附 close_enough、includes 和 model_graded_qa 的代码。
工具与框架/2026-10-03/12 分钟Inspect 模型评分:开放式回答怎么打分,以及怎么避免被带偏Inspect 的 model_graded_qa 用另一个模型给开放式回答打 GRADE: C 或 GRADE: I。文档说明模型选择顺序、模板变量、固定标准与逐题标准、多数投票、等级抽取如何防注入,以及用 temperature=0 和 seed 让评分更可复现。
工具与框架/2026-10-03/16 分钟Inspect 入门:用任务、求解器和评分器搭起一次评测英国 AI Security Institute 的开源评测框架 Inspect:一次评测由数据集、求解器和评分器组成。教程按原顺序演示模型评分、选择题、沙箱中的工具 agent、自定义等价评分、自定义工具、日志数据框、现成编码 agent、eval_set 续跑,以及用扫描器复查拒绝回答。
工具与框架/2026-09-28/7 分钟AI GUI 测试的社区与工具:从视觉驱动到传统平台增强视觉驱动的 Midscene、browser-use、UI-TARS,和做元素自愈、视觉回归的 Testim、Applitools、testRigor,解决的不是同一件事。这篇按执行、感知和断言把它们分开。
工具与框架/2026-09-26/2 分钟一句话驱动真机:Google 开源的 Android 自动化项目 ARTEMISARTEMIS 把自然语言收成 Android 真机上的操作,并能通过 MCP 接到常见 AI IDE。本文按公开介绍改写它的能力边界、启动方式和手机会多出的辅助服务。