行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-09-2811 分钟
计划先定死再写：美团 LongCat 用 ResearchSpec 评深度研究
公开三套基准分别高出对照里最强的 0.30、3.17、5.62。内部基准 76.04，仍比 ChatGPT 的完整 Deep Research 低 0.55。计划固定后不再重开，编辑加轮次也不保证每项都涨。
研究与基准测试2026-09-228 分钟
订单最多涨过 6%，业务线名字没写：美团 MTFM 的离线和在线口径
美团 MTFM 在外卖多个精排场景全量。最显著的一条业务线订单增长超过 6%，但没有业务线名字和实验窗口。推理成本降 24.0%，192 GFLOPs 是计算量不是账单。
研究与基准测试2026-09-1011 分钟
评测集守住已知：美团把 Agent 评测拆成四块和两条闭环
美团图灵 Agent 评测把体系写成四模块、三种能力和两条 Loop。离线回测守已知，在线 AB、影子和巡检发现未知。文中的 68%、95% 是商家经营分析例子，不是公布的线上成绩。
研究与基准测试2026-09-037 分钟
基线没有名字：美团智播把动作 FID 0.041 和编辑提升 2.5%–3.8% 分开报
美团智播在 HumanML3D 上报 FID 0.041，较基线降 82.3%，KIT-ML 上 FID 0.180，降 64.7%，但没写基线名字。编辑只报三个基准整体提升 2.5% 到 3.8%，没有指标名。经营增长不和这些分混用。
研究与基准测试2026-08-3111 分钟
结果分看不出断在哪一步：美团 ATLAS 给工具 Agent 做双时段诊断
41 个 LLM 诊断信号。校准后的 ATLAS Judge 总 F1 0.952，高于只给任务定义的 0.800。蒸馏到 9B 后 17 项总 F1 94.6，仍低于 DeepSeek-V4-Pro 的 96.4。线上三天 10% 流量，会话跟进率 +6.9%，付费 GTV +7.32%，抽查的 P0 幻觉 −6.9 个百分点。
研究与基准测试2026-08-278 分钟
AIME24 到了 23.75%，业务上的 12% 没写指标名：美团 GeoRA
美团 GeoRA 把低秩适配对齐到 RLVR 的更新几何。Qwen3-8B 的 AIME24 为 23.75%。招聘场景相对 LoRA 约提升 12%，原文没有写出这个 12% 的指标名。
研究与基准测试2026-08-2010 分钟
长尾 BadCase 降了 2.96 个点：美团搜索 3.0 把三期实验的窗口都写了
美团服务零售搜索用三期实验把 LLM 语义表征放进精排。一期 20% 流量 14 天，长尾 BadCase@1 显著降 2.96pp。二期和三期分别是 7 天的 20% 与 10% 流量。三期订单 +0.32% 没有拆开两类特征。
研究与基准测试2026-08-136 分钟
八篇里只有三处在讲评测：美团的 KDD 2026 论文速览
美团技术团队汇总 8 篇 KDD 2026 论文。和 Agent 评测直接有关的是 CDRRM 的三千条样本、LocalSearchBench 的 900 道多跳题，以及 DataAgents 赛题的异构数据包。没有配套准确率。