行业与实践 · 标签「评测」

最新优先最早优先

查看全部

研究与基准测试2026-09-215 分钟
FinFIRST：金融搜索 Agent 不只要答对，还要能溯源
蚂蚁百灵团队联合北京大学与中金公司投资银行团队公开的 FinFIRST，把金融搜索 Agent 的评测重点从最终答案扩展到信息检索、引用来源和全过程可追踪性。
研究与基准测试2026-09-218 分钟
混合执行成功率 91.04%：阿里用 134 道座舱任务评语音智能体
134 例座舱任务里，混合执行成功率 91.04%，直接调工具 72.39%，全部委托 80.60%。都做成功的回合上，总体时延 4.729 秒，相对这两档低 26.73% 和 30.91%。短任务和多步并不是都最快。
研究与基准测试2026-09-208 分钟
500 条模拟工单：腾讯云 ADP 把判断模型和通用模型拆开比
腾讯云 ADP 用 500 条模拟客服工单对比 Jev 和通用模型：意图准确率 88.2% 对 93.2%，空响应 5.6% 对 0，500 条成本 0.0103 美元对估算的约 2.45 美元。
研究与基准测试2026-09-208 分钟
29 项平均分涨超 25%，时价按两分钟的 30 倍估算：Qwen3.8-Omni-Flash
Qwen3.8-Omni-Flash 的 29 项平均分比 Qwen3.5-Omni-Plus 提高超过 25%。OmniVideoBench 上准确率 63.4 到 67.8，token 从 145736 降到 79117。时价降幅按两分钟成本的 30 倍估算，不是准确率。
研究与基准测试2026-09-207 分钟
一周线上观看时长涨 0.96%，公开集只有 7583 个物品：百度怎么测统一检索排序
KuaiRand-Pure 上 HR@10 从 0.0511 到 0.0575。手机百度一周全量对照里，总观看时长 +0.96%，总分发量 +1.08%。线上只给相对涨幅，没有绝对基线。
研究与基准测试2026-09-188 分钟
问「最新」并不等于只留最新：腾讯云把明确年份和模糊时间拆开
腾讯云时效性检索按知识有效时间处理召回。明确年份会过滤；「最新」在生效逻辑里是加权排序，历史文档仍可能回来。页面没有召回率。AgenticRAGSearch 不用开开关，注意事项又写关闭则整条逻辑不生效。
研究与基准测试2026-09-1610 分钟
测试集宏平均 F1 为 0.615：阿里参与的基准用淘宝行为核验消费价值
5440 段淘宝购买过程，测试集 544 段由专家从零标注。B2V-Verifier 宏平均 F1 0.615，基线最高是 GPT-5 的 0.417。引言写的大约 34% 没有落到表上的某一格。
研究与基准测试2026-09-099 分钟
跨设备依赖一断就归零：百度参与的 JarvisGUI 用终态评 GUI
150 道组合题，最好的整题成功是 HOLO2 的 12/150（8.0%）。多设备有依赖的整题成功率最高 2.0%，六行里四行是 0。换规划器到 Kimi K2.6，这一格仍是 2.0。
研究与基准测试2026-09-088 分钟
几何平均快 1.55 倍，但短行采样会输：腾讯怎么测精确 Top-K
腾讯 HPC-Ops 在 Hy4-Preview 的 FP32 索引分数上测精确 Top-K，K=2048。20 个形状都通过集合合同，相对最快外部精确实现几何平均 1.55 倍。245K 轨迹 1.36 倍，430K 为 1.48 倍。16K 和 24K 行上精确提议全胜，采样不是默认都该开。
研究与基准测试2026-09-079 分钟
同一套 API 下四项公开集最低：阿里评 Qwen-Audio-3.0-ASR
B 栏里 FLEURS 中英和 LibriSpeech 两项最低，AISHELL 与 WeNetSpeech 不是。16 种方言宏平均 CER 9.40%。400 毫秒流式的中文 CER 9.24%，非流式 8.03%。
研究与基准测试2026-09-037 分钟
基线没有名字：美团智播把动作 FID 0.041 和编辑提升 2.5%–3.8% 分开报
美团智播在 HumanML3D 上报 FID 0.041，较基线降 82.3%，KIT-ML 上 FID 0.180，降 64.7%，但没写基线名字。编辑只报三个基准整体提升 2.5% 到 3.8%，没有指标名。经营增长不和这些分混用。
研究与基准测试2026-08-3111 分钟
结果分看不出断在哪一步：美团 ATLAS 给工具 Agent 做双时段诊断
41 个 LLM 诊断信号。校准后的 ATLAS Judge 总 F1 0.952，高于只给任务定义的 0.800。蒸馏到 9B 后 17 项总 F1 94.6，仍低于 DeepSeek-V4-Pro 的 96.4。线上三天 10% 流量，会话跟进率 +6.9%，付费 GTV +7.32%，抽查的 P0 幻觉 −6.9 个百分点。
研究与基准测试2026-08-318 分钟
九成召回时 21445 QPS，磁盘模式只剩 63：字节 UBASE 把向量检索的吞吐和成本拆开测
内部 1 亿条、约 90% recall@10 时 21445 QPS。同一预算下磁盘模式是 63 QPS、月成本 382 美元。建索引峰值内存相对 DiskANN 降 80%，召回损失小于 0.01。
研究与基准测试2026-08-285 分钟
华为云 AgentArts 智能体评估：把“能回答”变成可回归的工程系统
华为云 AgentArts 的官方评估实践把智能体测试从“开发者手动聊几轮”推进到可重复、可量化、可定位的评测流程。对企业来说，重点不是一次跑出一个分数，而是建立基线、识别能力洼地，并在每次 Prompt、知识库或工具改动后验证是否回归。
研究与基准测试2026-08-285 分钟
PawBench：Agent 的成绩，不只属于模型
通义实验室公开的 PawBench 用 4,050 个测试单元回答一个常被忽略的问题：Agent 失败时，究竟是模型能力不足，还是 Harness 没有把能力稳定地转化为执行结果？
研究与基准测试2026-08-2810 分钟
32K 窗口打过 128K 裸模型：腾讯 ContextPilot 评主动上下文管理
Qwen3-8B 只配工具，四套均值从 45.93 掉到 27.61；训完 ContextPilot-8B-RL 是 69.40，窗口只有 32K。深度搜索平均分高于 SUPO，但 WebExplorer 的 xBench 仍是 56.67 对 58.00。
研究与基准测试2026-08-278 分钟
AIME24 到了 23.75%，业务上的 12% 没写指标名：美团 GeoRA
美团 GeoRA 把低秩适配对齐到 RLVR 的更新几何。Qwen3-8B 的 AIME24 为 23.75%。招聘场景相对 LoRA 约提升 12%，原文没有写出这个 12% 的指标名。
研究与基准测试2026-08-2711 分钟
整题只有 2.8%：蚂蚁 UI-Venus-2 用关键点把 GUI 轨迹和单步分开评
27B 在 OSWorld 2.0 的 108 题、150 步上整题只有 2.8%，部分分 13.2。MobileWorld 50 步 76.1，低于 Qwen-UI-Agent 的 82.1。WebVoyager 刷新子集 93.4。OSBlind 的攻击成功率仍是 47.9。
研究与基准测试2026-08-268 分钟
最高分要写明用的哪套 Harness：Qwen3.8-Flash-Next 把评测口径放进脚注
Qwen 团队 2026-08-26 发布 Qwen3.8-Flash-Next 时，把 DeepSWE、SWE-bench、OSWorld 的 Harness、温度、上下文和裁判模型写进脚注。同一行分数不能当成同场裸分。
研究与基准测试2026-08-257 分钟
公开榜 9B 总分 80.6，线上 14 次实验没有幅度：微信视觉把嵌入模型拆开测
MMEB-v2 上 9B 总分 80.6，视频总分 74.3 仍低于对照。内部 26 项平均 72.0，只比了一个 2B。线上 14 次 A/B 没有给出涨幅。