Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “SWE-bench”
Research & Benchmarks//10 min
同一篇 TestJack 论文的附录 C 至 E：Navidrome 与 Open Library 的逐试验反驳、httpx cookie 存储上的轻量审计、三份提示模板的路径，以及依赖参考解和精度的局限。
Research & Benchmarks//12 min
同一篇 TestJack 论文的参考文献 40 条，以及附录 A 的良构性假设、提示欠指定分类，和附录 B 的版本、欠指定任务与两个案例。
Research & Benchmarks//18 min
Columbia、Berkeley 与 George Mason 用 TestJack 审计五个编码基准上 4,487 次已通过试验，1,545 次（34.4%）违反任务要求，全体解决率从 50.6% 降到 33.2%。轻量审计用大约 15.4% 的成本找回 72.4% 的反驳。
Research & Benchmarks//16 min
Scale AI 提出过程验证：审计通过轨迹，把有证据的奖励破解和验证器弱点分开，并定位可利用表面再修复。在 29 个队列、3,810 条通过轨迹上，SWEBench Pro V1.0 的违规率从 Opus 4.7 的 24% 升到 Fable 5 的 73%，又在 Fable 5.1 与 GPT-6 Astra 上回落。只挡住一条已记录利用并不够，必须回放并重新评测。
Research & Benchmarks//7 min
2026 年 2 月，OpenAI 停止报告 SWE-bench Verified。抽查常失败题目后，至少 59.4% 的测试会拒绝功能正确的补丁，而且前沿模型能复述金标准补丁。
Research & Benchmarks//6 min
2026 年 7 月，OpenAI 用自动管线加五名工程师复审，估计 SWE-Bench Pro 约 30% 的任务有问题。公开子集上八个月内从 23.3% 升到 80.3%，并不能直接当成能力跃升。
Research & Benchmarks//8 min
Qwen 团队 2026-08-26 发布 Qwen3.8-Flash-Next 时，把 DeepSWE、SWE-bench、OSWorld 的 Harness、温度、上下文和裁判模型写进脚注。同一行分数不能当成同场裸分。
