Not translated yet — showing the Chinese originals.

Industry & Practice · Research & Benchmarks

Newest firstOldest first

RSS

Newest firstOldest first

Benchmarks we ran and public figures we checked, with the method and its limits attached.

Show everything

Research & Benchmarks2026-07-099 min
满分档平均只有 3.2%：腾讯混元参与的长程终端基准用子任务给部分分
46 题、17 个模型。0.95 阈值上 Grok 4.5 为 28.3%（13/46），模型平均 6.4%；满分阈值平均 3.2%。782 次运行里 491 次有部分分。未解原因的分母却写成 660。
Research & Benchmarks2026-07-0810 min
满分要对上芯片上限：华为 CANN Bench 评 Agent 写的昇腾算子
53 个算子、1060 条公开用例，另有每算子 80 条隐藏用例还没放出。编译、算对、速度的权重是 0.2、0.3、0.5。全部算对但只跑到基线，是 75 分。这篇没有模型排行。
Research & Benchmarks2026-07-078 min
EdgeBench：Agent 如何从真实环境中学习
字节 Seed 用 134 个日级任务和约 3.8 万小时交互，评测 Agent 在真实反馈中随时间改善的能力；总体表现呈对数 S 形，学习速度约每三个月翻倍。
Research & Benchmarks2026-07-069 min
56 条能核对的尺子：通义用 Qwen-Image-Bench 评复杂文生图
通义实验室的 Qwen-Image-Bench 用 56 条可核验规则、五根能力柱和 1000 条中英提示词评文生图。Q-Judger 基于 Qwen3.6-27B，和专家判断的 Spearman 相关是 0.92，但没有给出专家人数。
Research & Benchmarks2026-07-0110 min
轨迹比答案难评：阿里云把 Agent 评测拆成步骤、路径和结果
阿里云 AgentLoop 把企业 Agent 飞轮写成采集轨迹、自动建 Golden 和 BadCase、再用 Agent 做评测。文中给出 55 个字段、84% 覆盖率和三层评分，并标明哪些数字来自外部论文。

满分档平均只有 3.2%：腾讯混元参与的长程终端基准用子任务给部分分

满分要对上芯片上限：华为 CANN Bench 评 Agent 写的昇腾算子

EdgeBench：Agent 如何从真实环境中学习

56 条能核对的尺子：通义用 Qwen-Image-Bench 评复杂文生图

轨迹比答案难评：阿里云把 Agent 评测拆成步骤、路径和结果