LifeVal：个性化消费任务上，模型仍常漏掉对话里的关键信息

LifeVal：在个性化的智能体式消费任务上评测 AI 模型

Jenny Yang、Elizabeth Proehl、Anjan Bharadwaj、Emily Fan、Charlotte Cole、James Kim、Noam Brown、Phoebe Thacker、Amelia Glaese、Tejal Patwardhan。OpenAI。许可证：CC BY 4.0。arXiv:2611.06687v1，2026 年 11 月 4 日。

我们提出 LifeVal，一个评测 AI 模型在个性化、智能体式（agentic，模型要自己操作电脑完成多步动作，而不只是回答一句话）消费任务上表现的基准（benchmark，用来比较模型能力的固定题集和打分规则）。LifeVal 覆盖个性化数字超级助手最有价值、因而最值得自动化的生活任务，对应 148 类消费任务、每年超过 1.7 万亿美元的支付意愿（willingness-to-pay，受访者愿意为这项帮助支付的最高金额）。例子包括理财、搬家、找工作和找托儿。为构造活动分布，我们对超过 3,800 名在人口结构上有代表性的消费者做了新的支付意愿调查，并与美国时间利用调查（American Time Use Survey，ATUS，记录美国人一天时间花在哪些活动上）和跨国时间利用研究（Multinational Time Use Study，MTUS，把多国时间日记做成可比分类的数据库）交叉核对（Bureau of Labor Statistics, 2025; Fisher et al., 2025）。对最有价值的消费活动，我们招募任务作者，用真实的 ChatGPT 对话和记忆、参考文件以及个人上下文，写成个性化的 AI 评测任务。任务作者必须通过专业门槛（包括亲自多次完成该任务，并在真实生活中把结果跟完超过一年），还要写评分量表（rubric，把“做对了”拆成可打分条目的清单），以保证评测量的是对该任务最好的个性化完成。全部任务至少经过三轮人工质量控制，才进入最终评测集。

图 1：LifeVal 任务示例。论文中的任何个人信息，包括带有个人信息的图像，都已去标识或合成生成，以保护任务作者的隐私。

1 引言

AI 模型越来越像数字超级助手：能力很强、带个性化、并深度接入用户数字生活的智能体。要理解和预测这类模型的影响，就得测量它们的能力。一种测量消费侧能力的办法是使用指标。但使用数据只告诉我们用户已经提出过的任务：采用常常落后于能力，使用指标抓不到还需要时间才会被采用的新能力，也抓不到用户没想到去问的任务（Patwardhan et al., 2025）。为了更好地测量 AI 模型在消费场景中的能力，我们提出 LifeVal，一个专门测量消费者真正看重的真实世界任务上 AI 能力的基准。

LifeVal 任务抓住有价值、长程的消费需求：

• 高价值：任务来自一次人口结构有代表性的调查里，人们对 AI 超级协助支付意愿最高的那些任务，并与美国时间利用调查和跨国时间利用研究三角校验。后者汇编了 25 个国家可比的时间利用调查（Bureau of Labor Statistics, 2025; Fisher et al., 2025）。这 25 国是：澳大利亚、奥地利、比利时、保加利亚、加拿大、捷克、丹麦、芬兰、法国、德国、匈牙利、以色列、意大利、荷兰、挪威、秘鲁、波兰、塞尔维亚、斯洛文尼亚、南非、韩国、西班牙、瑞典、英国和美国。
• 高上下文：任务要求模型引用详细的个人数据、很长的 ChatGPT 对话历史，以及跨不同应用的上下文。
• 个性化：任务高度个性化、主观，要求模型适应个人偏好。
• 智能体式：任务要求在计算机上采取复杂动作，包括与网站交互、读取账户状态、填写表格、产出文件，以及管理数字交易。
• 可以客观评分：尽管任务主观，只要以所给上下文为条件，LifeVal 任务仍然可以客观打分。

2 相关工作

LifeVal 处在三块此前大多分开的文献交界处：智能体基准、个性化与记忆基准，以及关于任务增强和自动化的经济学文献。

AI 评测正在从单轮学术基准，转向交互式、智能体式任务，检验模型能否可靠完成真实工作流（Xie et al., 2024; Zhou et al., 2024）。自早期基线以来，成绩上升很快，包括 WebArena 最初 14% 相对人类 78% 的差距，以及 OSWorld 最初智能体 12.24% 相对人类 72.36%（Zhou et al., 2024; Xie et al., 2024）。更新的核验变体报告了强得多的结果，包括 GPT-5.4 在 WebArena-Verified 上 67.3%、在 OSWorld-Verified 上 75.0%（OpenAI, 2026）。这些文献给 LifeVal 几条设计教训：（i）部分主观的结果常用评分量表来评（He et al., 2024）；（ii）相对活的互联网，强化学习环境的可复现性更好（Zhou et al., 2024; XLANG Lab, 2025）；（iii）评测支架必须加固，以防奖励破解（reward hacking，模型钻评分规则的空子拿高分，而不是真正完成任务）（Wang et al., 2026）。

相关工作研究 AI 系统如何推断、记住并应用用户偏好（Li et al., 2025）。PrefEval（Zhao et al., 2025）评测模型能否在很长的合成对话里记住偏好；另一些基准研究对话和研究场景中的个性化协助（Liu et al., 2026; Liang et al., 2026）。与 LifeVal 更接近的是：PersonalWAB（Cai et al., 2025）把真实购物历史和生成的用户画像结合起来，评测个性化搜索与推荐；Persona2Web（Kim et al., 2026）评测智能体能否从合成用户画像和浏览历史推断偏好，再在开放网页上做任务。我们的工作把个性化智能体评测往前推了一步：把真实的 ChatGPT 对话历史和记忆，与需要浏览器和计算机使用的日常领域任务结合。同一批用户贡献针对任务的评分量表，作为智能体是否用上了他们个人上下文的依据。

本文也与经济学里关于任务自动化或任务增强技术的一大批文献密切相关（Autor et al., 2003; Acemoglu and Autor, 2011; Acemoglu and Restrepo, 2019）。当技术大幅降低一项任务的成本，家庭得到购买力、时间，或两者都有，并能把这些资源重新分配到其他商品和服务上，尤其是与现在变便宜的任务互补的那些（Greenwood et al., 2005）。

更广地说，自动化可以创造新的消费需求，而不只是替代劳动。农业机械化和生产率增长降低了食品价格，使家庭把更少支出花在食品上，把更多花在制成品和服务上（Gollin et al., 2002; Herrendorf et al., 2013）。类似地，电气化和节省劳动的家电减少了做饭、清洁和洗衣所需的时间，把时间从无报酬的家务生产里移出来，进入市场工作和别的活动（Greenwood et al., 2005; Ramey, 2009）。

当完成一项任务的边际成本降得足够低，技术也可以扩大可及性。在美国，数字零售通过增加品种和便利提高了消费者剩余，对密集城市市场以外的家庭尤其如此（Brynjolfsson et al., 2003; Sinai and Waldfogel, 2004; Dolfen et al., 2023）。当一种技术同时降低许多消费任务的成本时，这类效应可能更大。

许多 LifeVal 任务——协调家政服务、理财、与服务提供者沟通、处理税务——是家庭生产的投入，而不是最终消费。这些活动在数量上很重要，因为家庭把大量时间花在家务生产，以及购买和协调商品与服务上（Aguiar and Hurst, 2007; Ramey, 2009）。报税是一个清楚的例子：许多低收入家庭为获得由税收系统发放的福利而付钱请人协助，申报摩擦会影响申领行为（Bhargava and Manoli, 2015）。在大多数其他领域，相关的边际是行政负担的成本。社会服务领取不完全，反映的是学习成本、文书要求和挡住合格家庭的其他障碍（Currie, 2004; Finkelstein and Notowidigdo, 2019; Herd and Moynihan, 2019）。降低这些任务的成本，因此可能通过节省时间、减少支出，以及让原本无法参与的家庭获得机会，带来福利增益。

3 任务与基准的构造

3.1 给消费生活任务排优先级

为构造 LifeVal 的初始任务集，我们使用美国时间利用调查（ATUS, 2024; n=7,700）和跨国时间利用研究（MTUS, 2020; n=8,782）的数据。ATUS 是美国劳工统计局（BLS）建立的详细时间利用分类，记录人们如何把时间分配到日常活动上。MTUS 是国际时间利用日记调查的数据库，设计目的是让活动类别在国家之间可比。合在一起，这些数据提供人们在完整 24 小时里如何花时间的详细视图，包括工作日与周末的差别，以及一年中不同时间的差别。我们按 A.1 所述流程清洗数据。

然后我们估计 AI 数字超级助手对每项任务的潜在价值。我们考虑过是否可以只按人们花在各类任务上的时间来加权。但对消费生活任务，花费时间常常是价值的糟糕代理：有些任务相对不频繁或持续时间短，一旦发生却后果很大，例如报税、选择健康保险，或获得预防性医疗。而且，有些很花时间的生活任务（例如睡觉、吃饭）只能被个人数字超级助手中等程度地影响：AI 模型可以就这些活动给建议，但不能替你睡觉或替你吃饭。这使得测量 AI 对生活任务的影响，不同于与工作相关的任务。对工作任务，AI 超级助手的价值往往可以用相关职业的平均工资乘以工时，更直接地近似。

因为许多个人生活任务没有可比的市场工资，我们用一次支付意愿调查（n=3,837）补充 ATUS/MTUS 任务数据。招募对准美国人口普查局人口估计（2021）中的年龄、性别和族裔分布，收入则对准当前人口调查年度社会与经济补充（CPS-ASEC, 2025）（U.S. Census Bureau, 2021; U.S. Census Bureau, 2025）。我们设定一个假想的完美数字超级助手：它可以提供建议并执行数字任务，但不能做体力工作。受访者估计，在 2025 年全年，他们愿意为每项活动的数字协助支付的最高金额（受访者仍承担所安排的任何商品或服务的费用）。每位受访者评估随机抽出的 30 个活动类别。

所得数据给出 148 个活动类别的优先分布。这些类别来自 ATUS 分类最细的一层，用来指导后续 LifeVal 任务收集。把这些类别上估计的美国年度支付意愿加总，大约是 1.7 万亿美元（表 1）。我们把这些估值与活动重要性的外部代理比较，包括劳工统计局的消费者支出、职业工资，以及 ATUS 的幸福感度量。估值问题见 A.2，按宽活动类别汇总的支付意愿估计见 B.2，外部比较的讨论见 A.2.1。得到的任务覆盖人们最想得到帮助的领域，包括照护、健康、教育、家务行政、个人财务、购物，以及获得政府服务。

3.2 任务作者招募、同意与个性化数据

我们的看法是：只有这项任务上的“专家”，才知道对他们而言长期真正正确的结果是什么。在 LifeVal 里，我们不要通用任务；每道任务代表的是对作者本人有用且正确的完成。我们亲自审阅专家任务作者提出的每一道任务，确认其经历达到项目的专业门槛，包括来回要求补充信息，并做了直播式的虚拟培训和办公时间。写任务时，专家任务作者用合成数据替换个人可识别信息（PII，personally identifiable information，能认出具体个人的信息），并同意分享他们的 ChatGPT 数据；这些数据在研究使用前已去标识，如图 2。

图 2：任务作者个性化数据的处理。

3.3 任务创建

每道任务包含下列部分：

• 请求（提示）：清楚说明任务作者希望模型完成什么。
• 个性化上下文：提供它，是为了能准确完成个性化任务。许多个人问题看起来高度主观，但给出详细个人上下文会显著降低含糊。例如，一般问题“我晚饭该吃什么？”如果模型能看到用户偏好和最近的用餐历史，就变成可以客观回答。个性化上下文包括：ChatGPT 对话和记忆，即先前对话和记忆中的相关摘录。评测时，模型看到他们的全部对话导出（减去他们归档或删除的对话）。参考文件：以文件形式提供的、完成任务所需的额外上下文，例如医学检查结果、上一学期的课程表。额外任务上下文：模型要成功完成任务所必需、但 ChatGPT 数据、参考文件或网页浏览里没有的其他细节或资源。
• 评分量表：为了在个性化任务固有的主观性之下仍能客观打分，作者也为每道任务写评分量表。
• 强化学习环境（RLE，reinforcement learning environment，把网站和账户状态做成可重复重置的模拟环境）：每道任务有对应的环境，模型在其中完成任务所要求的智能体动作。我们也给模型一个浏览器工具，用来搜索离线版本的网页。
• 起始状态：环境里完成任务所需的初始数据或信息（例如收件箱里一封含有医学结果的邮件）。

图 3：任务结构。

图 4：任务质量控制环。

3.4 任务、环境和评分量表的质量控制

我们采用严格的质量控制（QC），同时使用人工审核和模型自动审核，以保证任务准确、真实、公平。

#### 3.4.1 人工质量控制

LifeVal 任务至少经过三轮人工审核：

1. 同行审核：由另一位任务作者进行，需要时该作者具备与任务相关的领域经验。同行审核者从实际领域知识的角度评估任务的准确性、真实度和完整性。
2. 负责人审核：受过培训的审核者按活动标准评估任务，包括任务对本次收集是否足够难，以及是否公平，也就是用所给信息是否可能完成。
3. 最终签字：第三位专家审核者审阅完成的任务，准备好纳入时签字。

#### 3.4.2 模型质量控制

与人工审核并行，模型驱动的质量控制帮助确保：在所给输入下，评分量表的条目公平且可解。

• 把任务的全部组成部分交给一个模型，包括提示、个人上下文和环境，让它尝试完成任务。
• 另一个模型审阅完成情况，把失败分成评分量表、提示／上下文、环境，或模型本身的问题。
• 根据找出的问题，模型提出有针对性的改正。
• 人工审核者评估模型提出的修改，决定是否采纳。

3.5 评分

我们使用两个自动评分器，两者都用 GPT-5.6。

• 主评分器：目的是判断任务是否被正确完成。评分器收到原始任务提示、相关对话历史和记忆、评分量表条目及其可用分数、模型的最终回复、模型创建的任何文件或产物，以及一份后端状态差异，显示任务强化学习环境从开始到结束的变化。评分器被要求只根据所给证据，独立给每个评分量表条目打分。它必须核实模型声称创建的产物确实存在，对涉及真实副作用的任务考虑后端状态变化，并且只给实际完成的动作记分。
• 钻空子评分器：目的是检测成功的环境钻空子。我们认为，模型访问内部强化学习环境 API 的任何情况都是钻空子。这样做不被鼓励，因为真实网站不太可能有这类开放端点供模型使用。若检测到钻空子，该样本得分为 0。评分设置的更多信息见 A.3。

4 结果

我们创建了 169 道任务，并评测 GPT-5.2、5.4、5.5、5.6 和 GPT-6 Astra。

图 5：从左上角顺时针：成绩相对每次展开的平均观测墙钟时间、每次展开的平均工具调用次数、平均 API 成本，以及每次展开的平均 token 数。点表示每个模型设置的平均奖励，每次展开有 8 小时超时。

图中的 95% 置信区间由自助法（bootstrapping，对已有分数有放回地反复抽样，看均值能晃动多少）得到：对每个样本可用的自动评分器分数做有放回重抽样，计算每个样本的均值，再对全部样本或指定模型取平均。

4.1 常见失败模式

图 6：按模型的失败模式剖面。每根柱的总高度是该模型的总体失败率，计算为所评样本上 $1-\text{reward}$ 的平均值。reward 是评分量表给出的奖励分数。

各模型的失败模式剖面相似，但我们看到随时间的趋势。GPT-5.2 是唯一会在试图完成任务时用尽 token、从而出现“没有最终答案”失败的模型。自 5.2 以来，计算机使用、浏览器使用和连接器上更好的训练，带来了更高的总体奖励。GPT-6 Astra 是我们迄今对齐得最好的模型，我们看到与决策边界和对齐相关的失败模式增加，例如“要求的动作没有完成”和“报告无法找到或核实信息”。跨模型最稳定的失败模式是“信息不正确或建议不正确”。模型经常漏掉位于个人对话里的关键信息。

5 局限性

LifeVal 有下列局限：

第一，因为 LifeVal 取材于 ATUS 和 MTUS，它可能漏掉没有出现在历史时间利用调查里的较新任务。ATUS 止于 2021 年；MTUS 是数据库而不是单次调查，其最新调查数据也来自 2021 年。另外，我们的支付意愿调查以美国为中心、用英语进行，因此可能低估美国以外常见的任务，或在人口调查面板中代表较弱的社区里的任务。

第二，支付意愿估计只是数字超级助手价值的代理。对消费任务，它们很可能好于原始花费时间，但仍然依赖自我报告、调查框架，以及受访者对“数字超级助手”能做什么的想象。我们把权重与劳工统计局的消费者支出和其他相关度量做了交叉核对，但最终基准仍然锚定在调查回答上，而不是已经显露出来的长期行为。

最后一项局限是时间不变性。虽然我们把大多数网页交互导向强化学习环境而不是活的网站，依赖时效信息或浏览的任务会命中一份没有冻结的网页缓存，因此可能在不同次运行之间变化。强化学习环境大幅减少了这一变异来源，但没有完全去掉，并可能导致依赖浏览的任务上模型分数发生变化。

6 结论

LifeVal 是我们专门为测量 AI 模型在面向消费者的任务上的能力而建的第一个基准，利用个性化的 ChatGPT 数据，使表现评测更真实、更准确。这项工作的主要贡献包括：

• 任务分布：一组来自真实世界消费活动、并按消费者报告的价值排序的任务（使用一次新的消费者调查），以保证相关性和用处。
• 数据集：一套新的任务、强化学习环境、评分量表，以及直接来自任务作者 ChatGPT 历史的、个性化的、用户特定的上下文。

LifeVal 提供一个有结构、可打分的框架，用来测量 AI 模型充当真正有用的个性化助手的潜力。

7 致谢

我们感谢 Alexandra Barr、Ally Bennett、Andy Applebaum、Annie Lee、April Won、Dana Palmie、Daniel Fradin、David Li、Erik Ritter、Fidji Simo、Grace Kim、Henry Baer、James Lennon、Kendra Rimbauch、Kirsty Le、Laurance Fauconnet、Leon Maksin、Mark Chen、Marwan Aljubeh、Michael Sharman、Michele Wang、Michelle Pokrass、Minnia Feng、Natalie Kim、Nick Otis、Nick Turley、Tom Stasi、Tony Song、Ugurcan Turkdogan、Vinnie Monaco、Wyatt Thompson、Xiaolei Zhu 和 Yiheng Xu。我们特别感谢为 LifeVal 贡献时间和专业能力的专家，没有他们这项工作无法完成。

参考文献

• Acemoglu and Autor (2011) D. Acemoglu and D. Autor. Skills, tasks and technologies: Implications for employment and earnings. In Handbook of labor economics, Vol. 4, pp. 1043–1171.
• Acemoglu and Restrepo (2019) D. Acemoglu and P. Restrepo. Automation and new tasks: How technology displaces and reinstates labor. Journal of economic perspectives 33(2), pp. 3–30.
• Aguiar and Hurst (2007) M. Aguiar and E. Hurst. Measuring trends in leisure: the allocation of time over five decades. The quarterly journal of economics 122(3), pp. 969–1006.
• Autor et al. (2003) D. H. Autor, F. Levy, and R. J. Murnane. The skill content of recent technological change: An empirical exploration. The Quarterly journal of economics 118(4), pp. 1279–1333.
• Bhargava and Manoli (2015) S. Bhargava and D. Manoli. Psychological frictions and the incomplete take-up of social benefits: Evidence from an IRS field experiment. American Economic Review 105(11), pp. 3489–3529.
• Brynjolfsson et al. (2003) E. Brynjolfsson, Y. Hu, and M. D. Smith. Consumer surplus in the digital economy: Estimating the value of increased product variety at online booksellers. Management science 49(11), pp. 1580–1596.
• Bureau of Labor Statistics (2022) American Time Use Survey – 2021 Well-Being Module Microdata Files. Accessed: 2026-04-17.
• Bureau of Labor Statistics (2025) American Time Use Survey – 2024 Results. U.S. Department of Labor. Accessed: April 16, 2026.
• Cai et al. (2025) H. Cai, Y. Li, W. Wang, F. Zhu, X. Shen, W. Li, and T. Chua. Large language models empowered personalized web agents. In Proceedings of the ACM on Web Conference 2025, WWW ’25, pp. 198–215.
• Currie (2004) J. Currie. The take up of social benefits. National Bureau of Economic Research.
• Dolfen et al. (2023) P. Dolfen, L. Einav, P. J. Klenow, B. Klopack, J. D. Levin, L. Levin, and W. Best. Assessing the gains from e-commerce. American Economic Journal: Macroeconomics 15(1), pp. 342–370.
• Finkelstein and Notowidigdo (2019) A. Finkelstein and M. J. Notowidigdo. Take-up and targeting: Experimental evidence from SNAP. The Quarterly Journal of Economics 134(3), pp. 1505–1556.
• Fisher et al. (2025) K. Fisher, J. Gershuny, S. M. Flood, J. Lamote, L. C. Sayer, D. Backman, E. Breton, and S. Richards. Multinational Time Use Study Extract System: Version 1.5 [dataset]. Minneapolis, MN: IPUMS.
• Gollin et al. (2002) D. Gollin, S. Parente, and R. Rogerson. The role of agriculture in development. American economic review 92(2), pp. 160–164.
• Greenwood et al. (2005) J. Greenwood, A. Seshadri, and M. Yorukoglu. Engines of liberation. The Review of economic studies 72(1), pp. 109–133.
• He et al. (2024) H. He, W. Yao, K. Ma, W. Yu, Y. Dai, H. Zhang, Z. Lan, and D. Yu. WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models. arXiv:2401.13919.
• Herd and Moynihan (2019) P. Herd and D. P. Moynihan. Administrative burden: Policymaking by other means. Russell Sage Foundation.
• Herrendorf et al. (2013) B. Herrendorf, R. Rogerson, and A. Valentinyi. Two perspectives on preferences and structural transformation. American Economic Review 103(7), pp. 2752–2789.
• Kim et al. (2026) S. Kim, S. Lee, and D. Lee. Persona2Web: benchmarking personalized web agents for contextual reasoning with user history. In Proceedings of the 43rd International Conference on Machine Learning, Vol. 306, pp. 58276–58303.
• Li et al. (2025) X. Li et al. A Survey of Personalization: From RAG to Agent. arXiv:2504.10147.
• Liang et al. (2026) Y. Liang et al. Towards Personalized Deep Research: Benchmarks and Evaluations. arXiv:2509.25106.
• Liu et al. (2026) S. Liu et al. PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments. arXiv:2603.23231.
• National Center for ONET Development (2026) ONET OnLine. Accessed: April 16, 2026.
• OpenAI (2026) Introducing GPT-5.4. https://openai.com/index/introducing-gpt-5-4/ Accessed 2026-04.
• Patwardhan et al. (2025) T. Patwardhan, R. Dias, E. Proehl, J. Tworek, et al. GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks. arXiv:2510.04374.
• Ramey (2009) V. A. Ramey. Time spent in home production in the twentieth-century United States: New estimates from old data. The Journal of Economic History 69(1), pp. 1–47.
• Sinai and Waldfogel (2004) T. Sinai and J. Waldfogel. Geography and the Internet: Is the Internet a Substitute or a Complement for Cities? Journal of Urban Economics 56(1), pp. 1–24.
• U.S. Bureau of Labor Statistics (2025) Consumer Expenditures—2024. Accessed: April 16, 2026.
• U.S. Census Bureau (2021) Annual Estimates of the Resident Population … April 1, 2020 to July 1, 2021. NST-EST2021-POP. Vintage 2021. Accessed: April 16, 2026.
• U.S. Census Bureau (2025) Current Population Survey: 2025 Annual Social and Economic Supplement (CPS-ASEC). Accessed: April 16, 2026.
• Wang et al. (2026) H. Wang, Q. Mang, A. Cheung, K. Sen, and D. Song. How We Broke Top AI Agent Benchmarks: And What Comes Next. https://rdi.berkeley.edu/blog/trustworthy-benchmarks-cont/ Accessed 2026-04.
• Xie et al. (2024) T. Xie et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. arXiv:2404.07972.
• XLANG Lab (2025) Introducing OSWorld-Verified. https://xlang.ai/blog/osworld-verified Accessed 2026-04.
• Zhao et al. (2025) S. Zhao, M. Hong, Y. Liu, D. Hazarika, and K. Lin. Do LLMs Recognize Your Preferences? Evaluating Personalized Preference Following in LLMs. ICLR.
• Zhou et al. (2024) S. Zhou et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. arXiv:2307.13854.

附录 A

A.1 ATUS 数据清洗流程

我们做了下列数据清洗。

• 合并相关子类：我们把相关子类折叠起来，例如前往各个地点、观看各种体育、以及等待活动，分别并入“交通”“观看体育”和“等待”这些统一类别。
• 合并紧密相关的任务：我们把非常相似的任务合并，例如“提供给成人的医疗照护”和“提供给儿童的医疗照护”并成一类，并把财务管理任务合并，不论协助是提供给他人还是给自己。
• 去掉长尾类别：我们排除与工作相关的活动（已由 GDPval 覆盖）以及未指明类别（“别处未分类”）。

A.2 消费者支付意愿调查

招募对准美国人口在年龄、性别、族裔和收入上的分布。3,837 名受访者完成调查。筛选包括理解题，评估受访者是否理解助手的能力，以及一次简单的注意力检查。只有五道检查全部答对的受访者被保留，得到 1,826 名保留受访者和 2,011 名排除。

每位受访者对清洗后的 ATUS/MTUS 任务分布中最多 30 项活动的一个子集给出估值。每个活动层面的估计，由对该活动给出估值的保留受访者计算。对分配到的每项活动，受访者被问如下估值问题：

想象你可以使用一个完美的数字超级助手。

数字超级助手提供完美的建议（例如说明如何修理洗衣机、给出世界上最好的个性化育儿建议、制作定制的 LSAT 学习指南），并在可能时替你自动化数字任务（例如在线购买你偏好的衣物、完美地替你填写在线纳税申报、知道你想要的外卖晚餐并通过配送下单）。

• 数字超级助手花的任何钱都来自你的钱包。
• 假设数字超级助手完美地执行这些任务——因此在这个练习里，假设它完全知道你的偏好，并且不犯任何错误。

考虑去年（2025 年）的全部时间。作为全年的总和，你最多愿意支付多少美元，让数字超级助手在这项任务上协助你？如果你不愿意付费用这个数字超级助手，填 0。

我们用 95 分位缩尾均值（winsorized mean，把高于某一分位的极端值替换成该分位值再求平均）估计每项活动的年度支付意愿。具体地，高于该活动第 95 百分位的估值被替换成该百分位，再对所得数值取平均。百分位用线性插值计算。零估值被纳入，缺失回答从该活动的分母中排除。

我们把这些估计转换成与估计支付意愿成比例的任务收集目标。每项活动在合格活动总估计支付意愿中的份额，乘以 800 道任务的目标，再向下取整到最接近的整数。取整之后，148 个活动类别有正的配额，对应 702 道任务，代表美国消费者每年超过 1.7 万亿美元的支付意愿。

#### A.2.1 校验支付意愿调查结果

作为稳健性检查，我们把支付意愿排序与任务重要性的若干外部代理比较：劳工统计局消费者支出调查、ONET（美国职业信息网络），以及 ATUS 幸福感调查（U.S. Bureau of Labor Statistics, 2025; National Center for ONET Development, 2026; Bureau of Labor Statistics, 2022）。

对我们分布中的每个 ATUS 第三层活动，我们在可能时映射到对应的支出类别、职业和 ATUS 幸福感活动。例如，活动“使用法律服务”被映射到支出类别“法律费用”和职业“律师”。然后我们把调查报告的支付意愿，与支付意愿的外部度量比较，包括家庭平均支出、支出参与率、职业工资，以及活动期间报告的情绪。

这些外部度量与我们基于调查的支付意愿排序只有中等相关（$R^{2}\approx 0.4$）。我们认为这是证据：支付意愿捕捉到的东西与支出、工资或体验情感这些标准代理有关，但并不相同。具体而言，我们认为差别来自几个原因：

• 消费者可能高度看重有重要长期后果的任务，即使直接支出相对很少（例如财务管理）。
• 职业工资反映的是劳动力市场状况，不只是对消费者的价值。
• 消费者支出类别把商品和服务合在一起，而对 AI 协助的支付意愿主要被想成一项服务。
• 活动期间的负面或正面情绪，并不稳定地转化成对该活动的支付意愿。

A.3 评分

上述结果的主评分器是带 xhigh 推理力度的 GPT-5.6 Sol。为检验自动评分器是否与人类判断对齐，我们也请人类培训者用任务评分量表给模型的展开打分。十七名培训者对一个 n=30 的子集中每道任务的一次 GPT-5.5 展开打分。我们发现平均评分量表成绩人类为 83.61%，GPT-5.6 为 84.20%。在这 30 次展开上，人类平均成绩与 GPT-5.6 成绩的皮尔逊相关（Pearson correlation，两组分数一起升降的程度，1 为完全同向）为 $r=0.864$。

附录 B 个性化

为评估个性化在 LifeVal 任务中的重要性，我们在四种条件下评测这些任务：基线；去掉过往对话和记忆；去掉额外任务上下文；以及把额外任务上下文合成地插入过往对话，而不是直接提供。我们使用同一模型，并在所有条件下改变推理力度。

去掉额外任务上下文，在每一档推理力度上都大幅降低表现；去掉过往对话和记忆的影响小得多。把额外任务上下文中的事实插入过往对话，表现下降大约与完全去掉该上下文一样多。这些结果提示两个结论：

1. 额外任务上下文包含完成任务所需的大部分个人信息。
2. 模型难以在过往对话中找到并使用相关信息。

为进一步调查这些发现，我们检查个性化评分量表条目上的表现：这些条目需要来自记忆、过往对话或额外任务上下文的信息。创建评分量表时，培训者标明满足每条标准所需信息在任务中的位置（例如参考文件、过往对话、额外任务上下文、可通过浏览获得，等等）。我们选出培训者恰好标明这三种来源之一的条目，并比较它们的胜率。

• 过往对话：平均胜率 33.33%。
• 记忆：平均胜率 47.8%。
• 额外任务上下文：平均胜率 55.8%；当信息被合成地插入过往对话时，降到 41.5%。

对只归因于过往对话、且模型达到 100% 胜率的条目，我们检查对应的展开，以确定：

1. 模型是否访问了过往对话。
2. 它是否找到了相关信息。
3. 它是否正确使用了该信息。
4. 该信息是否也在任务的其他地方可得，或仅凭对话标题就能推断。

在这一被审阅的子集里，每一条标准所需的信息也在任务的其他地方可得，或仅凭对话标题就能推断。因此，这些条目上的成功并不能确立模型从对话内容里检索到了相关事实。我们观察到模型搜索对话历史，包括在不成功的尝试里，但它的搜索常常依赖关键词和主题线索。例如：

grep -Rni -E 'GAship|graduateassistant|full.?time|studentloan|LING800|dissertationcredits|qualifyingpaper|registration' /home/reference_files/home/conversation_history 2>/dev/null | head -300

B.1 专家来源、说明与报酬

专家从现有的通才任务作者池中招募，并对狭窄类别（例如 ADU 搭建、霉菌治理）通过博客和社交媒体做定向外联来补充。ADU 是附属住宅单元（accessory dwelling unit，主宅旁边加建的小型居住单元）。

参与是自愿的，贡献者可以随时退出。贡献者按其时间和专业能力，以职业合同工的方式获得报酬。

B.2 ATUS/MTUS 任务类别

表 1：ATUS/MTUS 第一层活动类别、第三层活动示例，以及加总的支付意愿估计。年度支付意愿列加总我们人口调查中活动层面的均值；美国年度支付意愿列加总全国估计。

出处：Jenny Yang, Elizabeth Proehl, Anjan Bharadwaj, Emily Fan, Charlotte Cole, James Kim, Noam Brown, Phoebe Thacker, Amelia Glaese, Tejal Patwardhan，LifeVal: Evaluating AI Model Performance on Personalized Agentic Consumer Tasks，2026-11-04，https://arxiv.org/abs/2611.06687，CC BY 4.0。