行业与实践 · 标签「评测」

最新优先最早优先

查看全部

研究与基准测试2026-08-258 分钟
预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打
阿里云 AgentLoop 评估器分 Agent Judge 和 Code。预置六项只有用途，没有准确率。名称和类型创建后不能改。Score 和 Reason 必选，CoT 可选。优势段写了 MCP，创建步骤只写上传 SKILL.md。
研究与基准测试2026-08-248 分钟
用户过 0.03 亿就饱和：蚂蚁在支付宝数据上测表征缩放
支付宝数据上，用户数超过约 3000 万或时间窗超过 60 天，下游探测变平。模型从 0.2B 加到 0.4B，训练损失还降，准确率几乎不动。ALGN 的 AUC 76.43%，容量 63.47%。
研究与基准测试2026-08-249 分钟
WBench 平均 81.7：京东用 3000 个镜头评长视频
京东 JoyAI-Echo-1.5 在 100 个故事、3000 个镜头上 7 项里 6 项最高，Aesthetic 0.5705 低于 LTX-2.5 的 0.6019。WBench Navigation 158 条平均 81.7。对 HappyOyster 的世界模型人工评测里，语义只有 13.63% 对 29.44%。
研究与基准测试2026-08-218 分钟
反思轮数默认 3：腾讯云把检索不准时的重查封顶在 10
腾讯云智能体开发平台的 Agentic RAG 用反思轮数限制「查完再查」。取值 0 到 10，默认 3。0 轮退回单次检索。页面按四档写准确度和 Token，但没有命中率、延迟或对照实验。
研究与基准测试2026-08-207 分钟
采样可以拉到 100%，最大样本数却没写死：阿里云 AgentLoop 的评估任务
阿里云 AgentLoop 评估任务的数据来自链路、日志或数据集。采样比例是 0% 到 100%。页面建议上线前用 100%，线上监控用 10% 到 50%，但没有给出最大样本数。删除任务不影响查看历史数据。
方法与教程2026-08-182 分钟
测试一个“听起来对、实际上错”的 RAG 流水线
上下文精确率、召回率、忠实度和答案相关度必须分开看。五十条审过的问答，胜过五百条爬来的。
研究与基准测试2026-08-188 分钟
没有外部反馈，多轮不一定比零样本好：字节测测试时经验链
字节 Seed 的 Chain-of-Experience 不改参数，只把上一轮回答和反馈接进下一轮。自反馈相对无反馈平均高 5.6 个点，正确性或执行反馈高 11.1 个点。正确性反馈被写成上界。LiveBench 编码上，无反馈低于 ICL。
研究与基准测试2026-08-179 分钟
规则裁判满分只有 5.6%：腾讯朱雀用 14560 次运行评 DeepSeek Harness
14560 次受控运行。规则裁判满分 819 次（5.6%），语义裁判 772 次（5.3%）。文件模式的隐藏 Unicode 通道是 116/455，即 25.5%。汇点是模拟的，不代表真实外发。
研究与基准测试2026-08-1611 分钟
进度 76.86，整题只有 41.00：腾讯 UI-Mate 用检查点评办公 GUI
OSWorkerBench 100 题、上限 200 步。27B 进度 76.86，整题成功 41.00，只比 Kimi-K2.6 的 40.67 高 0.33。OSWorld-Verified 77.0，低于 GPT-5.5 的 78.7。自演示的 30 题是按「没演示就失败」挑的。
研究与基准测试2026-08-169 分钟
固定微调把 IFEval 打掉 7.7 分：淘宝直播用四套尺子看模型能不能跟着 Harness 改
978 条真实直播间上，HAT 平均分 94.8，基座 80.3。固定 Harness 微调把 IFE-P 从 81.5 打到 73.8。线上七天 GMV 人均 +5.54%，没有置信区间。
研究与基准测试2026-08-149 分钟
能跑通还不够：腾讯云 ADP 用五件事判断 Agent 能不能进生产
腾讯云 ADP 从 DeepSeek Harness 的插件、动态装载和会话日志，整理进生产前的治理检查。文末五条是成功率稳定、失败可恢复、调用可审计、权限清楚、成本延迟可接受。没有给出阈值。
研究与基准测试2026-08-136 分钟
八篇里只有三处在讲评测：美团的 KDD 2026 论文速览
美团技术团队汇总 8 篇 KDD 2026 论文。和 Agent 评测直接有关的是 CDRRM 的三千条样本、LocalSearchBench 的 900 道多跳题，以及 DataAgents 赛题的异构数据包。没有配套准确率。
研究与基准测试2026-08-1310 分钟
做得多不等于验得上：阿里云 ATOBench 把证据链从结果里拆出来
450 个回合、225 对。直接证明的 grounded verification 从 44.0% 到 0%，五个模型全是 0。归属从 45.3% 到 40.0%，凭据从 84.0% 到 58.7%。动作变多没有把证明找回来。
研究与基准测试2026-08-129 分钟
总分会把「本来就会」算成遵守：字节 Harness-IF 把规则和默认行为拆开
字节 Seed 的 Harness-IF 按单条规则打分。12 个模型的总分都高于「和默认行为相反」的那一档，平均高出 5.81 分。86.8% 的判定经过 GPT-5.2 裁判，换裁判后一致率只有 62.1%。
研究与基准测试2026-08-109 分钟
售后 Agent 差的不是回答：腾讯云 ADP 把准确率从约 60% 收到 93% 以上
腾讯云 ADP 用医疗器械售后项目记录企业级 Agent 怎么测到能上线：86 万份知识、相似型号元数据过滤、多路召回与拒答、badcase 三天闭环。自述准确率从约 60% 到一轮上线约 83%，调优后 93% 以上。
研究与基准测试2026-08-068 分钟
绿了也不算过：阿里云用 Qoder 让 Computer Use 自己验证到能过夜
Qoder 是阿里的 AI 编码桌面产品。Computer Use 每次构建必须用同一证书签名，Goal Mode 循环到通过或需要人决策。验证分单测、自建测试应用和评测集三层。原文写了连续数百小时，但没有公开图表上的分数。
研究与基准测试2026-08-0610 分钟
看得见局部、拼不起全局：字节 GST-Bench 测视频里的全局空间
22 个 VLM 的零样本最高分是 Gemini-3-Pro 的 42.68，人类在每个子任务 20 个样本上是 79.08。目标在查询视角里不可见。Qwen3-VL-8B 经 GST-Train 微调后到 53.52，仍补不上人类。
研究与基准测试2026-08-066 分钟
见过任务平均 92.0，空间泛化仍低于 π0.5：京东怎么测机器人操作
真机见过任务平均分 92.0，对照 π0.5 是 74.0。没见过平均 75.5，但空间和拓扑这一维对照略高，分数没写。桌面子集和视频加量的分数不能和 92.0 排成一条曲线。
研究与基准测试2026-08-058 分钟
RCA Benchmark：阿里云把根因分析变成可复现的 Agent 评测
阿里云联合多家机构开源 RCA Benchmark，用生产化微服务环境、四层结构化真值和三维加权评分，评估 Agent 是否真正定位分布式系统根因。
研究与基准测试2026-08-0510 分钟
说得清楚不等于查得对：腾讯 RepoProbe 用清单给仓库问答打分
500 道 GitHub Discussions 改写题，10 分清单。GPT-5.2 总分 62.7%，完美求解率最高的 Claude Opus 4.6 也只有 27.5%。清晰分一律高于知识分。