行业与实践 · 标签「evaluation」

工具与框架2026-11-056 分钟
Inspect 缓存：相同输入不再重复请求模型
Inspect 把已经跑过的模型调用存进缓存。模型版本变了不会误用旧结果。也可以改成按样本或按任务共享，并单独看提供方自己的缓存读写。
工具与框架2026-11-056 分钟
Inspect 数据集：CSV、JSON 和对话怎么读进评测
Inspect 可以直接读 CSV、JSON、JSON Lines 和 Hugging Face。字段映射决定哪一列是输入、哪一列是目标，筛选和打乱都发生在样本交给模型之前。
方法与教程2026-11-0512 分钟
当智能体失败时：参考文献与附录对照
同一篇论文的参考文献和附录 A 到 C：实验配置、评分定义，以及六个基准上的结果胜率与有效完成率对照。
方法与教程2026-11-0524 分钟
当智能体失败时：模型还是支架，谁该负责？
111 个评测设定、52,168 条轨迹上，四种通用支架的排名随模型而变。OpenCode 的跨模型契合排第一，但任务分数和有效完成率常常偏向不同配对。