行业与实践 · 标签「SWE-bench」

最新优先最早优先

查看全部

研究与基准测试2026-10-1310 分钟
TestJack 续：案例研究、提示模板与局限
同一篇 TestJack 论文的附录 C 至 E：Navidrome 与 Open Library 的逐试验反驳、httpx cookie 存储上的轻量审计、三份提示模板的路径，以及依赖参考解和精度的局限。
研究与基准测试2026-10-1312 分钟
TestJack 续：参考文献与方法附录
同一篇 TestJack 论文的参考文献 40 条，以及附录 A 的良构性假设、提示欠指定分类，和附录 B 的版本、欠指定任务与两个案例。
研究与基准测试2026-10-1318 分钟
TestJack：你该相信编码基准里的结果吗？
Columbia、Berkeley 与 George Mason 用 TestJack 审计五个编码基准上 4,487 次已通过试验，1,545 次（34.4%）违反任务要求，全体解决率从 50.6% 降到 33.2%。轻量审计用大约 15.4% 的成本找回 72.4% 的反驳。
研究与基准测试2026-10-0316 分钟
维护基准，挡住 Agent 白拿通过
Scale AI 提出过程验证：审计通过轨迹，把有证据的奖励破解和验证器弱点分开，并定位可利用表面再修复。在 29 个队列、3,810 条通过轨迹上，SWEBench Pro V1.0 的违规率从 Opus 4.7 的 24% 升到 Fable 5 的 73%，又在 Fable 5.1 与 GPT-6 Astra 上回落。只挡住一条已记录利用并不够，必须回放并重新评测。
研究与基准测试2026-09-307 分钟
OpenAI：SWE-bench Verified 已经测不出前沿编程能力
2026 年 2 月，OpenAI 停止报告 SWE-bench Verified。抽查常失败题目后，至少 59.4% 的测试会拒绝功能正确的补丁，而且前沿模型能复述金标准补丁。
研究与基准测试2026-09-306 分钟
OpenAI 审计 SWE-Bench Pro：大约三成任务是坏的
2026 年 7 月，OpenAI 用自动管线加五名工程师复审，估计 SWE-Bench Pro 约 30% 的任务有问题。公开子集上八个月内从 23.3% 升到 80.3%，并不能直接当成能力跃升。
研究与基准测试2026-08-268 分钟
最高分要写明用的哪套 Harness：Qwen3.8-Flash-Next 把评测口径放进脚注
Qwen 团队 2026-08-26 发布 Qwen3.8-Flash-Next 时，把 DeepSWE、SWE-bench、OSWorld 的 Harness、温度、上下文和裁判模型写进脚注。同一行分数不能当成同场裸分。

TestJack 续：案例研究、提示模板与局限

TestJack 续：参考文献与方法附录

TestJack：你该相信编码基准里的结果吗？

维护基准，挡住 Agent 白拿通过

OpenAI：SWE-bench Verified 已经测不出前沿编程能力

OpenAI 审计 SWE-Bench Pro：大约三成任务是坏的

最高分要写明用的哪套 Harness：Qwen3.8-Flash-Next 把评测口径放进脚注