Not translated yet — showing the Chinese originals.
Research & Benchmarks//7 min
阿里云 AgentLoop 评估任务的数据来自链路、日志或数据集。采样比例是 0% 到 100%。页面建议上线前用 100%,线上监控用 10% 到 50%,但没有给出最大样本数。删除任务不影响查看历史数据。
Techniques & Tutorials//2 min
上下文精确率、召回率、忠实度和答案相关度必须分开看。五十条审过的问答,胜过五百条爬来的。
Research & Benchmarks//8 min
字节 Seed 的 Chain-of-Experience 不改参数,只把上一轮回答和反馈接进下一轮。自反馈相对无反馈平均高 5.6 个点,正确性或执行反馈高 11.1 个点。正确性反馈被写成上界。LiveBench 编码上,无反馈低于 ICL。
Research & Benchmarks//8 min
阿里云 2026-08-17 的 AgentLoop Audit 把局部命中和上下文判定分开。截图里凭证泄漏影响 6 个应用,模型侧 38 次提交、43 次回复泄漏。这些是运营计数,不是检出率。
Research & Benchmarks//9 min
14560 次受控运行。规则裁判满分 819 次(5.6%),语义裁判 772 次(5.3%)。文件模式的隐藏 Unicode 通道是 116/455,即 25.5%。汇点是模拟的,不代表真实外发。
Research & Benchmarks//11 min
OSWorkerBench 100 题、上限 200 步。27B 进度 76.86,整题成功 41.00,只比 Kimi-K2.6 的 40.67 高 0.33。OSWorld-Verified 77.0,低于 GPT-5.5 的 78.7。自演示的 30 题是按「没演示就失败」挑的。
Research & Benchmarks//9 min
978 条真实直播间上,HAT 平均分 94.8,基座 80.3。固定 Harness 微调把 IFE-P 从 81.5 打到 73.8。线上七天 GMV 人均 +5.54%,没有置信区间。
Career & Transition//2 min
测试设计、风险排序和缺陷报告可以原样迁到 agent 时代。重复点击和脆定位器不再有回报。
Research & Benchmarks//9 min
腾讯云 ADP 从 DeepSeek Harness 的插件、动态装载和会话日志,整理进生产前的治理检查。文末五条是成功率稳定、失败可恢复、调用可审计、权限清楚、成本延迟可接受。没有给出阈值。
Research & Benchmarks//6 min
美团技术团队汇总 8 篇 KDD 2026 论文。和 Agent 评测直接有关的是 CDRRM 的三千条样本、LocalSearchBench 的 900 道多跳题,以及 DataAgents 赛题的异构数据包。没有配套准确率。
Research & Benchmarks//10 min
450 个回合、225 对。直接证明的 grounded verification 从 44.0% 到 0%,五个模型全是 0。归属从 45.3% 到 40.0%,凭据从 84.0% 到 58.7%。动作变多没有把证明找回来。
Research & Benchmarks//8 min
百度 Diagram-MMU 用 3.7k 张科学图、18.3k 道题测十二个模型。问答最高 86.46%,被改部分的 CrystalBLEU 只有 0.51 到 2.98。Agent 小集上多数模型改图上升、问答下降,三件事都涨的只有 Claude-4.6 Opus。
Research & Benchmarks//11 min
阿里云 AgentLoop 在 UGC 游戏 Agent 上用 3 天走完观测、分层评估、根因和回归。事实层按正确项除以正确加错误项打分,一条样本 16 项里 9 项错。回写后的新分数没有公布。
Research & Benchmarks//9 min
字节 Seed 的 Harness-IF 按单条规则打分。12 个模型的总分都高于「和默认行为相反」的那一档,平均高出 5.81 分。86.8% 的判定经过 GPT-5.2 裁判,换裁判后一致率只有 62.1%。
Research & Benchmarks//8 min
阿里 OpenCodeReview 在 AACR-Bench 的 200 个 PR、1505 条专家评论上,六个底座的 SEM-F1 是 17.90% 到 25.10%。同一 Claude-4.6-Opus 在 Claude Code 上只有 11.57%。召回多数行更低。相对 Claude Code 的 Token 大约少 5 到 15 倍,相对 Codex 只有约 1.24 倍。
Research & Benchmarks//9 min
腾讯云 ADP 用医疗器械售后项目记录企业级 Agent 怎么测到能上线:86 万份知识、相似型号元数据过滤、多路召回与拒答、badcase 三天闭环。自述准确率从约 60% 到一轮上线约 83%,调优后 93% 以上。
Research & Benchmarks//8 min
Qoder 是阿里的 AI 编码桌面产品。Computer Use 每次构建必须用同一证书签名,Goal Mode 循环到通过或需要人决策。验证分单测、自建测试应用和评测集三层。原文写了连续数百小时,但没有公开图表上的分数。
Research & Benchmarks//10 min
22 个 VLM 的零样本最高分是 Gemini-3-Pro 的 42.68,人类在每个子任务 20 个样本上是 79.08。目标在查询视角里不可见。Qwen3-VL-8B 经 GST-Train 微调后到 53.52,仍补不上人类。
Research & Benchmarks//6 min
真机见过任务平均分 92.0,对照 π0.5 是 74.0。没见过平均 75.5,但空间和拓扑这一维对照略高,分数没写。桌面子集和视频加量的分数不能和 92.0 排成一条曲线。
Research & Benchmarks//8 min
阿里云联合多家机构开源 RCA Benchmark,用生产化微服务环境、四层结构化真值和三维加权评分,评估 Agent 是否真正定位分布式系统根因。