案例研究/2026-10-08/18 分钟生产环境中的高效评测:一项持续演进的大语言模型智能体研究Meta 的生产分析智能体每次跑完 519 题大约要 3 小时。在 574 次历史运行上,多维 2PL 自适应测试只跑 200 题(38.5%)时,通过率 MAE 为 1.03 个百分点;300 题时与整卷排名的 Spearman 为 0.992。实际部署的是按难度分层的固定子集,可不重新标定迁到另外 5 个智能体族,标定窗短到 1 天仍稳定。
研究与基准测试/2026-09-30/22 分钟Messier:把 30 个 Agent 基准对齐成可审计的逐任务记录Andromede 发布 CC BY 语料 Messier:957,253 条试验结局,覆盖 30 个基准。全通过评分会把部分完成打成零,开放数据拟合的能力排序与 Epoch ECI 的 Spearman 相关为 0.81。