工具与框架/2026-10-23/10 分钟Promptfoo 事实性:子集、超集、一致、冲突、措辞不同Promptfoo 用 OpenAI evals 的五类标签给模型打分。默认 A、B、C、E 记 1.0 通过,D 记 0.0 失败。参考写成「巴黎是法国的首都」,多写埃菲尔铁塔仍算超集;写成里昂则是冲突。
工具与框架/2026-10-23/8 分钟Promptfoo:生成的代码先关进 Docker,再谈通过率Promptfoo 这篇教程用 epicbox 在 python:3.9-alpine 里跑模型写出的函数,CPU 限 1 秒、内存限 64。三道题分别期望 120、True 和 9;退出码非 0 或输出不符都记 0 分。