用 Jules 量真正要紧的事：主动编码智能体按洞察策略打分

用 Jules 量真正要紧的事

2026-06-22

Nghi Bui，研究科学家。

Georgios Evangelopoulos，研究科学家。

Zack Elliott，软件工程师。

AI 编码智能体正在从被动助手变成主动引擎。被动助手是被提示才完成任务；主动引擎持续吸收上下文，发现正在出现的风险，并在开发者发问之前给出诊断性的洞察。这场变化的中心，是从定义清楚的任务（task）转到目标（goal）。目标要求智能体探索代码库，发现什么相关，并给出诊断性观察，帮助开发者走向更高一层的目的。

公开基准如 SWE-Bench 测试的是智能体完成任务的能力，例如修一个范围很窄的缺陷。目前还没有针对目标的基准。在最近的论文《Agentic Coding Needs Proactivity, Not Just Autonomy》（https://arxiv.org/abs/2605.06717）里，作者主张：主动智能体必须按它的洞察策略（insight policy，决定什么要紧、什么证据支持它、以及该打断开发者还是保持沉默）来打分。

图：主动智能体编码引擎的设计。上下文流进引擎，引擎维持开发状态和开发者模型，发出洞察（通知、提问、起草或保持沉默），并从回应里学习。原图未随本文分发。

用真实的缺陷修复当“地面真值”

基于作者在 Google Labs 做持续 AI 系统的工作，他们发现：要做能按洞察策略给主动智能体打分的评测，必须先建立地面真值（ground truth，用来对照的已知目标）。一种做法是沿两条启发式分析一个团队真实的修缺陷历史。作者把它们叫做时间邻近（temporal proximity，几件相关的事发生得有多近）和语义相似（semantic similarity，描述在意思上有多近）。

假设很简单：工程师在短时间里提交并修好好几条相关缺陷时，这些缺陷往往是同一次工程努力的症状。围绕“沙箱超时错误”“代理配置失败”和“网络隔离不稳定测试”的一簇缺陷，都指向一个共同的期望目标，例如“加强沙箱执行的可靠性”。单独看，每条缺陷都太像具体任务，当不了目标。合在一起，它们露出更高一层的目的。

建立并测试初步评测集

为了做初步基准并检验这个假设，作者使用内部谷歌代码库里的 705 条缺陷（1,178 个 CL。CL 是 changelist，一次提交审查的代码变更）：

• 把历史上相关的缺陷聚成簇，露出开发者实际在奔向的更高层“期望目标”。
• 把每一簇里的单条缺陷设为地面真值目标，并把代码库回退到修复之前的精确状态，让智能体从人类工程师当时的起点开始。
• 允许智能体最多调查代码库三轮（这是它的探索预算，记为 N），然后才生成最终洞察。
• 用一个大语言模型，把智能体预测的洞察对照地面真值目标，从 1（不相关）打到 5（完全吻合）。
• 用智能体的最高分均值，以及它多常做出高度准确的匹配（Hit@K，正确项出现在前 K 条推荐里的比率），来衡量成功。

初步结果，以及学到什么

测试的初步结果让人注意，主要有两个原因。

核心诊断逻辑是通的：只给一轮探索，智能体稳定地找出高度相关的洞察（平均 4.5 分，满分 5）。对直截了当的工程问题，它抓住了主要信号。

探索预算要紧：复杂、多面的问题自然更难，但给智能体更多资源去调查是有回报的。把探索预算从两轮加到三轮，智能体的 Hit@5 准确率（正确的诊断洞察出现在前 5 条推荐里的比率）从 33% 明显回升到 57%。这说明额外的遍数直接帮助智能体揭开它一开始漏掉的次要信号。

下一步

这些是初始样本上的初步结果，作者正在多个方向扩大覆盖。首先，把这套评测扩到公开的 GitHub 数据（issue 和解决它们的 PR），让方法能更广泛地用到 AI 社区。他们也在探索怎样吃进更丰富的上下文流，例如问题跟踪、对话和设计文档，而不只是代码库。

论文全文：https://arxiv.org/pdf/2605.06717 。后续工作见 http://labs.google/code 。

出处：Nghi Bui，Georgios Evangelopoulos，Zack Elliott，Measuring What Matters with Jules，2026-06-22，https://developers.googleblog.com/measuring-what-matters-with-jules，CC BY 4.0。同一工作的论文为 https://arxiv.org/abs/2605.06717 ，不另发。Portions of this page are modifications based on work created and shared by Google and used according to terms described in the Creative Commons 4.0 Attribution License.