Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “基准”
Research & Benchmarks//31 min
尽管人工智能基准测试进步迅速，基准成绩在现实世界中究竟意味着什么，仍然不清楚。为了用人类能力来量化人工智能系统的能力，我们提出一项新指标：50% 任务完成时间视界（50%-task-completion time horizon），即人工智
Research & Benchmarks//22 min
SAP Labs 四位作者的 KDD '25 综述全译：按「评什么」和「怎么评」两条轴整理 Agent 评测，并指出企业场景特有的访问控制、可靠性和合规挑战。原文 CC BY 4.0。
Research & Benchmarks//40 min
GUI Agent 综述全译：把架构拆成感知、探索、规划、交互四个模块，梳理移动/桌面/网页/游戏四类应用、基准与评测策略，并指出元素定位、长时程规划与安全执行等挑战。原文 CC BY 4.0。
Research & Benchmarks//22 min
河内科技大学与 L'Aquila 大学论文全译：Rust/Go/Julia/PHP/Ruby 五语言、3,642 个焦点函数、14 个模型。提出调用率 IR 识别「通过却没真正测到焦点函数」，标准设置下最强模型 TPR 也仅约 27%。原文 CC BY 4.0。
Research & Benchmarks//5 min
蚂蚁百灵团队联合北京大学与中金公司投资银行团队公开的 FinFIRST，把金融搜索 Agent 的评测重点从最终答案扩展到信息检索、引用来源和全过程可追踪性。
Research & Benchmarks//5 min
华为云 AgentArts 的官方评估实践把智能体测试从“开发者手动聊几轮”推进到可重复、可量化、可定位的评测流程。对企业来说，重点不是一次跑出一个分数，而是建立基线、识别能力洼地，并在每次 Prompt、知识库或工具改动后验证是否回归。
Research & Benchmarks//5 min
通义实验室公开的 PawBench 用 4,050 个测试单元回答一个常被忽略的问题：Agent 失败时，究竟是模型能力不足，还是 Harness 没有把能力稳定地转化为执行结果？
Research & Benchmarks//5 min
阿里巴巴团队公开的 HSCodeComp 把深度搜索 Agent 放进跨境贸易商品编码场景：不是找到一段相关文本就算完成，而是要从真实商品信息和多层关税规则中推导出准确的十位 HS Code。
Research & Benchmarks//5 min
百度 AI 搜索团队公开的 PinchBench-Evaluation 仓库，展示了 Orion-Mission-Mode 在真实工作任务上的评测流程：原始输入直接注入系统，Agent 自主调度工具并交付文件或报告，再由脚本检查与 LLM 评审共同打分。
