行业与实践

最新优先最早优先

研究与基准测试2026-09-037 分钟
基线没有名字：美团智播把动作 FID 0.041 和编辑提升 2.5%–3.8% 分开报
美团智播在 HumanML3D 上报 FID 0.041，较基线降 82.3%，KIT-ML 上 FID 0.180，降 64.7%，但没写基线名字。编辑只报三个基准整体提升 2.5% 到 3.8%，没有指标名。经营增长不和这些分混用。
研究与基准测试2026-09-0210 分钟
E-Commerce Bench：把「经营一家网店一整年」变成 Agent 评测
阿里 Qwen 团队联合淘宝天猫发布 E-Commerce Bench，用 10 万元本金、365 天连续经营和确定性谈判内核，评估 18 个模型作为商家的长程经营、防欺诈与长程学习能力。
研究与基准测试2026-08-3111 分钟
结果分看不出断在哪一步：美团 ATLAS 给工具 Agent 做双时段诊断
41 个 LLM 诊断信号。校准后的 ATLAS Judge 总 F1 0.952，高于只给任务定义的 0.800。蒸馏到 9B 后 17 项总 F1 94.6，仍低于 DeepSeek-V4-Pro 的 96.4。线上三天 10% 流量，会话跟进率 +6.9%，付费 GTV +7.32%，抽查的 P0 幻觉 −6.9 个百分点。
研究与基准测试2026-08-318 分钟
九成召回时 21445 QPS，磁盘模式只剩 63：字节 UBASE 把向量检索的吞吐和成本拆开测
内部 1 亿条、约 90% recall@10 时 21445 QPS。同一预算下磁盘模式是 63 QPS、月成本 382 美元。建索引峰值内存相对 DiskANN 降 80%，召回损失小于 0.01。
动态与发布2026-08-303 分钟
2026 年的整合潮：谁收购了谁，哪些还能用
Humanloop 已停服，Langfuse 仍承诺开源，Helicone 进入维护模式，Promptfoo 被宣布并入 Frontier。最危险的是产品还能登录、路线图却停了。
研究与基准测试2026-08-285 分钟
华为云 AgentArts 智能体评估：把“能回答”变成可回归的工程系统
华为云 AgentArts 的官方评估实践把智能体测试从“开发者手动聊几轮”推进到可重复、可量化、可定位的评测流程。对企业来说，重点不是一次跑出一个分数，而是建立基线、识别能力洼地，并在每次 Prompt、知识库或工具改动后验证是否回归。
研究与基准测试2026-08-285 分钟
PawBench：Agent 的成绩，不只属于模型
通义实验室公开的 PawBench 用 4,050 个测试单元回答一个常被忽略的问题：Agent 失败时，究竟是模型能力不足，还是 Harness 没有把能力稳定地转化为执行结果？
研究与基准测试2026-08-2810 分钟
32K 窗口打过 128K 裸模型：腾讯 ContextPilot 评主动上下文管理
Qwen3-8B 只配工具，四套均值从 45.93 掉到 27.61；训完 ContextPilot-8B-RL 是 69.40，窗口只有 32K。深度搜索平均分高于 SUPO，但 WebExplorer 的 xBench 仍是 56.67 对 58.00。
基础知识2026-08-273 分钟
安装之前，先读懂能力声明
技能不需要传统恶意软件的形态就能让 agent 做错事。先看 shell、网络和凭据；已验证徽章证明的是发布者，不是这个版本。
研究与基准测试2026-08-278 分钟
AIME24 到了 23.75%，业务上的 12% 没写指标名：美团 GeoRA
美团 GeoRA 把低秩适配对齐到 RLVR 的更新几何。Qwen3-8B 的 AIME24 为 23.75%。招聘场景相对 LoRA 约提升 12%，原文没有写出这个 12% 的指标名。
研究与基准测试2026-08-2711 分钟
整题只有 2.8%：蚂蚁 UI-Venus-2 用关键点把 GUI 轨迹和单步分开评
27B 在 OSWorld 2.0 的 108 题、150 步上整题只有 2.8%，部分分 13.2。MobileWorld 50 步 76.1，低于 Qwen-UI-Agent 的 82.1。WebVoyager 刷新子集 93.4。OSBlind 的攻击成功率仍是 47.9。
研究与基准测试2026-08-268 分钟
最高分要写明用的哪套 Harness：Qwen3.8-Flash-Next 把评测口径放进脚注
Qwen 团队 2026-08-26 发布 Qwen3.8-Flash-Next 时，把 DeepSWE、SWE-bench、OSWorld 的 Harness、温度、上下文和裁判模型写进脚注。同一行分数不能当成同场裸分。
研究与基准测试2026-08-257 分钟
公开榜 9B 总分 80.6，线上 14 次实验没有幅度：微信视觉把嵌入模型拆开测
MMEB-v2 上 9B 总分 80.6，视频总分 74.3 仍低于对照。内部 26 项平均 72.0，只比了一个 2B。线上 14 次 A/B 没有给出涨幅。
研究与基准测试2026-08-258 分钟
预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打
阿里云 AgentLoop 评估器分 Agent Judge 和 Code。预置六项只有用途，没有准确率。名称和类型创建后不能改。Score 和 Reason 必选，CoT 可选。优势段写了 MCP，创建步骤只写上传 SKILL.md。
研究与基准测试2026-08-243 分钟
安装量为什么不可信，以及应该按什么排序
安装量只能说明被拷贝过。2026 年的目录规模和安全审计都表明，条数、可维护条数、可安全安装条数不是一回事。
研究与基准测试2026-08-248 分钟
用户过 0.03 亿就饱和：蚂蚁在支付宝数据上测表征缩放
支付宝数据上，用户数超过约 3000 万或时间窗超过 60 天，下游探测变平。模型从 0.2B 加到 0.4B，训练损失还降，准确率几乎不动。ALGN 的 AUC 76.43%，容量 63.47%。
研究与基准测试2026-08-249 分钟
WBench 平均 81.7：京东用 3000 个镜头评长视频
京东 JoyAI-Echo-1.5 在 100 个故事、3000 个镜头上 7 项里 6 项最高，Aesthetic 0.5705 低于 LTX-2.5 的 0.6019。WBench Navigation 158 条平均 81.7。对 HappyOyster 的世界模型人工评测里，语义只有 13.63% 对 29.44%。
研究与基准测试2026-08-218 分钟
反思轮数默认 3：腾讯云把检索不准时的重查封顶在 10
腾讯云智能体开发平台的 Agentic RAG 用反思轮数限制「查完再查」。取值 0 到 10，默认 3。0 轮退回单次检索。页面按四档写准确度和 Token，但没有命中率、延迟或对照实验。
方法与教程2026-08-203 分钟
技能还是 MCP 服务器？从 token 成本给出答案
离散命令用封装 CLI 的技能，多轮要保住同一个浏览器时用 MCP。约 11 万对 2.7 万 token 只是方向，不是预算。
研究与基准测试2026-08-2010 分钟
长尾 BadCase 降了 2.96 个点：美团搜索 3.0 把三期实验的窗口都写了
美团服务零售搜索用三期实验把 LLM 语义表征放进精排。一期 20% 流量 14 天，长尾 BadCase@1 显著降 2.96pp。二期和三期分别是 7 天的 20% 与 10% 流量。三期订单 +0.32% 没有拆开两类特征。