行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-08-318 分钟
九成召回时 21445 QPS，磁盘模式只剩 63：字节 UBASE 把向量检索的吞吐和成本拆开测
内部 1 亿条、约 90% recall@10 时 21445 QPS。同一预算下磁盘模式是 63 QPS、月成本 382 美元。建索引峰值内存相对 DiskANN 降 80%，召回损失小于 0.01。
研究与基准测试2026-08-285 分钟
华为云 AgentArts 智能体评估：把“能回答”变成可回归的工程系统
华为云 AgentArts 的官方评估实践把智能体测试从“开发者手动聊几轮”推进到可重复、可量化、可定位的评测流程。对企业来说，重点不是一次跑出一个分数，而是建立基线、识别能力洼地，并在每次 Prompt、知识库或工具改动后验证是否回归。
研究与基准测试2026-08-285 分钟
PawBench：Agent 的成绩，不只属于模型
通义实验室公开的 PawBench 用 4,050 个测试单元回答一个常被忽略的问题：Agent 失败时，究竟是模型能力不足，还是 Harness 没有把能力稳定地转化为执行结果？
研究与基准测试2026-08-2810 分钟
32K 窗口打过 128K 裸模型：腾讯 ContextPilot 评主动上下文管理
Qwen3-8B 只配工具，四套均值从 45.93 掉到 27.61；训完 ContextPilot-8B-RL 是 69.40，窗口只有 32K。深度搜索平均分高于 SUPO，但 WebExplorer 的 xBench 仍是 56.67 对 58.00。
研究与基准测试2026-08-278 分钟
AIME24 到了 23.75%，业务上的 12% 没写指标名：美团 GeoRA
美团 GeoRA 把低秩适配对齐到 RLVR 的更新几何。Qwen3-8B 的 AIME24 为 23.75%。招聘场景相对 LoRA 约提升 12%，原文没有写出这个 12% 的指标名。
研究与基准测试2026-08-2711 分钟
整题只有 2.8%：蚂蚁 UI-Venus-2 用关键点把 GUI 轨迹和单步分开评
27B 在 OSWorld 2.0 的 108 题、150 步上整题只有 2.8%，部分分 13.2。MobileWorld 50 步 76.1，低于 Qwen-UI-Agent 的 82.1。WebVoyager 刷新子集 93.4。OSBlind 的攻击成功率仍是 47.9。
研究与基准测试2026-08-268 分钟
最高分要写明用的哪套 Harness：Qwen3.8-Flash-Next 把评测口径放进脚注
Qwen 团队 2026-08-26 发布 Qwen3.8-Flash-Next 时，把 DeepSWE、SWE-bench、OSWorld 的 Harness、温度、上下文和裁判模型写进脚注。同一行分数不能当成同场裸分。
研究与基准测试2026-08-268 分钟
美学分最高 0.50：蚂蚁用 5 万多条人工标注评 12 个视频模型
蚂蚁的 VGA-BenchV2 沿用 52 个细项和 1016 条提示词，新增 36000 条人工标注，合计 50600。12 个视频模型里美学分最高是 Sora2 的 0.50，Show-1 的生成水平是 0.04 且正文没解释。用评测器当奖励微调 Wan2.1，美学分只从 0.49 到 0.52。
研究与基准测试2026-08-257 分钟
公开榜 9B 总分 80.6，线上 14 次实验没有幅度：微信视觉把嵌入模型拆开测
MMEB-v2 上 9B 总分 80.6，视频总分 74.3 仍低于对照。内部 26 项平均 72.0，只比了一个 2B。线上 14 次 A/B 没有给出涨幅。
研究与基准测试2026-08-258 分钟
预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打
阿里云 AgentLoop 评估器分 Agent Judge 和 Code。预置六项只有用途，没有准确率。名称和类型创建后不能改。Score 和 Reason 必选，CoT 可选。优势段写了 MCP，创建步骤只写上传 SKILL.md。
研究与基准测试2026-08-243 分钟
安装量为什么不可信，以及应该按什么排序
安装量只能说明被拷贝过。2026 年的目录规模和安全审计都表明，条数、可维护条数、可安全安装条数不是一回事。
研究与基准测试2026-08-248 分钟
用户过 0.03 亿就饱和：蚂蚁在支付宝数据上测表征缩放
支付宝数据上，用户数超过约 3000 万或时间窗超过 60 天，下游探测变平。模型从 0.2B 加到 0.4B，训练损失还降，准确率几乎不动。ALGN 的 AUC 76.43%，容量 63.47%。
研究与基准测试2026-08-249 分钟
WBench 平均 81.7：京东用 3000 个镜头评长视频
京东 JoyAI-Echo-1.5 在 100 个故事、3000 个镜头上 7 项里 6 项最高，Aesthetic 0.5705 低于 LTX-2.5 的 0.6019。WBench Navigation 158 条平均 81.7。对 HappyOyster 的世界模型人工评测里，语义只有 13.63% 对 29.44%。
研究与基准测试2026-08-218 分钟
反思轮数默认 3：腾讯云把检索不准时的重查封顶在 10
腾讯云智能体开发平台的 Agentic RAG 用反思轮数限制「查完再查」。取值 0 到 10，默认 3。0 轮退回单次检索。页面按四档写准确度和 Token，但没有命中率、延迟或对照实验。
研究与基准测试2026-08-2010 分钟
长尾 BadCase 降了 2.96 个点：美团搜索 3.0 把三期实验的窗口都写了
美团服务零售搜索用三期实验把 LLM 语义表征放进精排。一期 20% 流量 14 天，长尾 BadCase@1 显著降 2.96pp。二期和三期分别是 7 天的 20% 与 10% 流量。三期订单 +0.32% 没有拆开两类特征。
研究与基准测试2026-08-207 分钟
采样可以拉到 100%，最大样本数却没写死：阿里云 AgentLoop 的评估任务
阿里云 AgentLoop 评估任务的数据来自链路、日志或数据集。采样比例是 0% 到 100%。页面建议上线前用 100%，线上监控用 10% 到 50%，但没有给出最大样本数。删除任务不影响查看历史数据。
研究与基准测试2026-08-188 分钟
没有外部反馈，多轮不一定比零样本好：字节测测试时经验链
字节 Seed 的 Chain-of-Experience 不改参数，只把上一轮回答和反馈接进下一轮。自反馈相对无反馈平均高 5.6 个点，正确性或执行反馈高 11.1 个点。正确性反馈被写成上界。LiveBench 编码上，无反馈低于 ICL。
研究与基准测试2026-08-178 分钟
告警多不等于风险准：阿里云 AgentLoop 先把高风险队列做实
阿里云 2026-08-17 的 AgentLoop Audit 把局部命中和上下文判定分开。截图里凭证泄漏影响 6 个应用，模型侧 38 次提交、43 次回复泄漏。这些是运营计数，不是检出率。
研究与基准测试2026-08-179 分钟
规则裁判满分只有 5.6%：腾讯朱雀用 14560 次运行评 DeepSeek Harness
14560 次受控运行。规则裁判满分 819 次（5.6%），语义裁判 772 次（5.3%）。文件模式的隐藏 Unicode 通道是 116/455，即 25.5%。汇点是模拟的，不代表真实外发。
研究与基准测试2026-08-1611 分钟
进度 76.86，整题只有 41.00：腾讯 UI-Mate 用检查点评办公 GUI
OSWorkerBench 100 题、上限 200 步。27B 进度 76.86，整题成功 41.00，只比 Kimi-K2.6 的 40.67 高 0.33。OSWorld-Verified 77.0，低于 GPT-5.5 的 78.7。自演示的 30 题是按「没演示就失败」挑的。