行业与实践 · 标签「腾讯」

最新优先最早优先

查看全部

研究与基准测试2026-09-308 分钟
没有度量就没有改进：腾讯云 ADP 把 RAG 评测拆成检索、生成和端到端
腾讯云 ADP 把生产级 RAG 的深水区收成切片、跨文档、评测、知识治理和证据决策。检索看 Recall@K 与延迟，生成看忠实度和相关性，端到端看任务完成率。原文没有给出实测分数。
研究与基准测试2026-09-298 分钟
高风险子集上攻击成功率从 6.00% 降到 1.69%：腾讯朱雀在编码代理上回归九种防御
pi 编码代理，模型匿名。9 组高风险组合上，九种防御把配对成功率从 6.00% 降到 1.69%，相对下降 71.8%，没有一种降到 0。离线检测误报为 0，召回最高 17.78%。
研究与基准测试2026-09-287 分钟
政策对比先过五类题：腾讯云 ADP 的政务问答没有公布准确率
腾讯云 ADP 用育儿补贴把跨地政策问答收成五类上线前用例：事实、流程、对比、边界阻断和时效。跨地必须双路检索，资格不能由模型审批。全文没有准确率。
研究与基准测试2026-09-248 分钟
8B 平均 50.7：腾讯把搜索拆成规划和综合
腾讯 IterSynth-8B 在五个深搜索集上平均 50.7，比 MiroThinker-8B 的 46.5 高 4.2。GAIA 55.3 低于对方 66.4。xBench-2510 表内比 Miro 的 34.0 高 12.0，正文另写 +5.4%。不更新参数时，Claude 上平均 66.1，高于 ReAct 的 60.6。
研究与基准测试2026-09-237 分钟
慢思考 BFCL v3 到 78.3，τ-Bench 仍低于 o1：腾讯混元把快慢两种思考分开测
慢思考 BFCL v3 为 78.3，τ-Bench 为 54.7，低于 o1 的 60.4。快思考 BFCL v3 掉到 65.9。表 2 相对上一代低了 3 项，不是正文写的 2 项。
研究与基准测试2026-09-208 分钟
500 条模拟工单：腾讯云 ADP 把判断模型和通用模型拆开比
腾讯云 ADP 用 500 条模拟客服工单对比 Jev 和通用模型：意图准确率 88.2% 对 93.2%，空响应 5.6% 对 0，500 条成本 0.0103 美元对估算的约 2.45 美元。
研究与基准测试2026-09-158 分钟
约束还在也会越权 9.33%：腾讯朱雀用 1800 条轨迹测失控
腾讯朱雀实验室的 FORGE-BENCH 把失控定义成越权动作真的改了外部状态。1800 条轨迹里，约束被拿掉且危险动作可执行时，全因子格是 55.00%，跨域高风险格是 62%。只给危险动作、约束还在，全因子里仍有 9.33%。把约束写回压缩摘要，对照是 0%。
研究与基准测试2026-09-146 分钟
先洗出一百到两百张工单：腾讯云 ADP 把 FDE 验收落在回归评测上
腾讯云 ADP 建议 FDE 用 100 到 200 条真实工单做黄金测试集，回归上下文召回率、回答真实度和业务切题度。认证考试 70 分是考试线，不是 Agent 准确率。
研究与基准测试2026-09-118 分钟
一句话要拆成四件事：腾讯云 ADP 的酒店 Agent 只公开了两项线上数字
腾讯云 ADP 用华住会、尚美数智和美住美宿说明酒店 Agent 怎么测到能上线：一句话拆成四个并发任务，首 Token 5 秒内，常见客需准确率 95% 以上。调价缺数据时必须人工复核。
研究与基准测试2026-09-098 分钟
咨询 17 万次，办结只有 230 笔：腾讯云 ADP 的政企案例把两口径分开了
腾讯云 ADP 用邯郸公积金、宝安小宝和广西汇小二说明政企智能体不能只看回答准确率。年报把咨询 17 余万次和办结 230 余笔分开写。单笔从 15 分钟到 3 分钟。这些数不是对照实验。
研究与基准测试2026-08-2810 分钟
32K 窗口打过 128K 裸模型：腾讯 ContextPilot 评主动上下文管理
Qwen3-8B 只配工具，四套均值从 45.93 掉到 27.61；训完 ContextPilot-8B-RL 是 69.40，窗口只有 32K。深度搜索平均分高于 SUPO，但 WebExplorer 的 xBench 仍是 56.67 对 58.00。
研究与基准测试2026-08-257 分钟
公开榜 9B 总分 80.6，线上 14 次实验没有幅度：微信视觉把嵌入模型拆开测
MMEB-v2 上 9B 总分 80.6，视频总分 74.3 仍低于对照。内部 26 项平均 72.0，只比了一个 2B。线上 14 次 A/B 没有给出涨幅。
研究与基准测试2026-08-179 分钟
规则裁判满分只有 5.6%：腾讯朱雀用 14560 次运行评 DeepSeek Harness
14560 次受控运行。规则裁判满分 819 次（5.6%），语义裁判 772 次（5.3%）。文件模式的隐藏 Unicode 通道是 116/455，即 25.5%。汇点是模拟的，不代表真实外发。
研究与基准测试2026-08-1611 分钟
进度 76.86，整题只有 41.00：腾讯 UI-Mate 用检查点评办公 GUI
OSWorkerBench 100 题、上限 200 步。27B 进度 76.86，整题成功 41.00，只比 Kimi-K2.6 的 40.67 高 0.33。OSWorld-Verified 77.0，低于 GPT-5.5 的 78.7。自演示的 30 题是按「没演示就失败」挑的。
研究与基准测试2026-08-149 分钟
能跑通还不够：腾讯云 ADP 用五件事判断 Agent 能不能进生产
腾讯云 ADP 从 DeepSeek Harness 的插件、动态装载和会话日志，整理进生产前的治理检查。文末五条是成功率稳定、失败可恢复、调用可审计、权限清楚、成本延迟可接受。没有给出阈值。
研究与基准测试2026-08-109 分钟
售后 Agent 差的不是回答：腾讯云 ADP 把准确率从约 60% 收到 93% 以上
腾讯云 ADP 用医疗器械售后项目记录企业级 Agent 怎么测到能上线：86 万份知识、相似型号元数据过滤、多路召回与拒答、badcase 三天闭环。自述准确率从约 60% 到一轮上线约 83%，调优后 93% 以上。
研究与基准测试2026-08-0510 分钟
说得清楚不等于查得对：腾讯 RepoProbe 用清单给仓库问答打分
500 道 GitHub Discussions 改写题，10 分清单。GPT-5.2 总分 62.7%，完美求解率最高的 Claude Opus 4.6 也只有 27.5%。清晰分一律高于知识分。
研究与基准测试2026-08-048 分钟
影子评测精度从 92.0% 到 97.5%，把行为写成文本反而掉到 83.0%：微信支付怎么测序列模型
三个月影子评测里 SeqLLM 周平均精度 97.5%，只文本的对照是 92.0%。把行为直接串成文本掉到 83.0%，这一版没有上线。欺诈检测只给了百分点，没有绝对值。
研究与基准测试2026-07-318 分钟
审核通过率 95%，转人工降到 20%：腾讯云 ADP 零售助手只给了两家的线上数
腾讯云 ADP 把零售助手的评估拆成规模、效率、质量、转人工、内容生产和运营效果。乳品案例自述审核通过率 95%、效率提升 300%；TP-Link 上线一周转人工率 20%、出图率 70%。两家都没有对照基线。
研究与基准测试2026-07-269 分钟
三次都改对才算稳：腾讯 E-Bench 用数据库差异评多步工具
323 道合成任务，三次尝试，没有部分分。Kimi-K3 的 Avg@3 是 73.79%，但三次都成功只有 58.82%。加上代码执行后 Opus-4.8 升到第一，最好的三次全过仍是 68.66%。