Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “AISI”
Techniques & Tutorials//16 min
英国 AISI 的开源包 Transect 把长程智能体轨迹对齐到同一条回合时间线上。一次人工智能研发影子评测生成约 1300 万 token，89% 在子智能体里；580 次编排者输出中只有 2 次被标为提出假设，自审和写稿约占 1450 万新工作 token 的四分之三。
Research & Benchmarks//28 min
英国 AI Security Institute 在七个基准上比较最多 12 个前沿模型。更大的 token 预算、上下文压缩和反复提交表明：FrontierMath 与 HLE 在通常预算外仍有约 12 个百分点余量，软件工程基准余量很小，跨代进步主要来自触及范围和可靠性，而不是 token 效率。
Tools & Frameworks//11 min
英国 AI Security Institute 的 Inspect 文档：多智能体可以是交接、显式工作流，或把智能体当工具。建议先用 react 基线，再比多智能体。说明 run 不回写求解器状态，以及交接过滤。
Tools & Frameworks//12 min
英国 AI Security Institute 的 Inspect 文档：human_cli 不跑模型循环，而是让人登录同一沙箱提交答案。说明任务命令、中途评分、终端录制和无界面登录。
Tools & Frameworks//10 min
英国 AI Security Institute 的 Inspect 文档：扫描器读评测记录，发现写到 scans/ 而不是嵌进日志。说明在线扫描、离线 scout scan、把扫描器当评分器，以及 llm_scanner 和 grep_scanner。
Tools & Frameworks//8 min
英国 AI Security Institute 的 Inspect 文档：用 @tool 把 Python 函数登记成工具，经 use_tools 交给模型。说明标准工具、MCP、类型注解为何必填，以及模型并不直接调用函数。
Tools & Frameworks//4 min
Inspect 的评分页把原始输出收成 Score，再汇总成指标。这一页按原表指向标准评分器、自定义评分器、失败如何入账、模型评分、指标、多个评分器、补评分，以及困惑度。
Tools & Frameworks//12 min
Inspect 把 ReAct 当作评测更复杂 Agent 的基线：工具循环直到 submit()，默认 1 次尝试，可用评分器允许多次重试，并用压缩或截断对付超长上下文。压缩只改模型看到的输入，完整历史仍保留。
Tools & Frameworks//8 min
英国 AI Security Institute 的 Inspect 文档说明 Agent 协议：同一个 Agent 可以当任务求解器、用 run() 单独跑、用 as_tool() 当工具，或用 handoff() 把整段对话交给另一个 Agent。
Tools & Frameworks//12 min
英国 AI Security Institute 的 Inspect 文档：自定义评分器接收 TaskState 和 Target，返回 Score。说明 value 的 C/I/P/N、返回 None 与 Score.unscored() 的差别，以及用 grader 角色调用模型。附 close_enough、includes 和 model_graded_qa 的代码。
Tools & Frameworks//12 min
Inspect 的 model_graded_qa 用另一个模型给开放式回答打 GRADE: C 或 GRADE: I。文档说明模型选择顺序、模板变量、固定标准与逐题标准、多数投票、等级抽取如何防注入，以及用 temperature=0 和 seed 让评分更可复现。
Tools & Frameworks//16 min
英国 AI Security Institute 的开源评测框架 Inspect：一次评测由数据集、求解器和评分器组成。教程按原顺序演示模型评分、选择题、沙箱中的工具 agent、自定义等价评分、自定义工具、日志数据框、现成编码 agent、eval_set 续跑，以及用扫描器复查拒绝回答。
