行业与实践 · 标签「评测」

最新优先最早优先

查看全部

研究与基准测试2026-09-308 分钟
400 个视觉 token 对上 10368：百度用固定语言模型评 CoVisco
语言模型固定为 Qwen3-4B。只送 400 个摘要 token 时，多项视频分数高于把 10368 个 token 都送进语言模型的对照。DocVQA 在只送摘要时是 20.5，比例 0.8 才到 75.1。
研究与基准测试2026-09-3010 分钟
看见强、判断弱：PhysVista 用三段闭环测视觉语言模型的物理智能
字节参与的 PhysVista 用看见、推理、评估闭环评 VLM 的物理智能。2060 题来自真实与生成视频。感知加权最高 68.59%，尺度最高只有 43.33%；Doubao 时序 91.33%，预测只有 35.56%。
研究与基准测试2026-09-3010 分钟
判对也会编证据：蚂蚁 ATAR 把真阳性幻觉压到 7.2%
蚂蚁实习期间完成的 ATAR 用 22 个鉴识工具做多轮伪造检测。六套零样本 IMDL 图像级 F1 78.5%，随机工具比不用工具更差。去掉推理奖励后分类只掉 0.6 个百分点，真阳性幻觉从 7.2% 升到 21.6%。
研究与基准测试2026-09-298 分钟
高风险子集上攻击成功率从 6.00% 降到 1.69%：腾讯朱雀在编码代理上回归九种防御
pi 编码代理，模型匿名。9 组高风险组合上，九种防御把配对成功率从 6.00% 降到 1.69%，相对下降 71.8%，没有一种降到 0。离线检测误报为 0，召回最高 17.78%。
研究与基准测试2026-09-2911 分钟
会话级正确率不到 5%：百度 CypherTurn 测的是多轮 Cypher，不是单条查询
百度参与的 CypherTurn 用 721 个会话、5927 轮评多轮 Text-to-Cypher。引导协议最好只到 64.7% 执行准确率，会话全对最高 33/721。换成自主协议后榜首从 Claude 换成 Gemini，加到 10 倍动作预算也补不回。
研究与基准测试2026-09-299 分钟
成功率有两套算法：华为云把 Skill 观测拆成加载和释放
华为云 AgentArts 把 Skill 拆成加载和释放，不单建 Skill Span。四条指标里，成功率同时写成 call.count 减 error.count，以及 status 为 True 的次数除以总次数。指标 60 秒上报一次，Prometheus 的 increase() 会把次数显示成小数。
研究与基准测试2026-09-298 分钟
2.51% 只赢平均识别错误：京东 JoyAI-Voice 2.0 让出英文词错误和说话人相似度
京东 Joy Future Academy 的 JoyAI-Voice 2.0 在 Seed-TTS 上平均识别错误 2.51%，相对 dots.tts 的 2.95% 降 14.9%。英文词错误 1.27% 高于 Qwen3 的 1.23%，说话人相似度平均 74.8 低于 dots.tts 的 79.2。自建 MDVD-Eval 总分 0.893，10 维里领先 5 维。
研究与基准测试2026-09-2816 分钟
Data Agent Benchmark：企业多库问数智能体基准
DAB 用 54 条查询、12 个数据集和 4 种数据库，评测跨库整合、脏连接键、文本抽取和领域知识。Gemini-3-Pro 的 pass@1 只有 38%，pass@50 不超过 69%。patents 全集未被任何模型解开。
研究与基准测试2026-09-287 分钟
政策对比先过五类题：腾讯云 ADP 的政务问答没有公布准确率
腾讯云 ADP 用育儿补贴把跨地政策问答收成五类上线前用例：事实、流程、对比、边界阻断和时效。跨地必须双路检索，资格不能由模型审批。全文没有准确率。
研究与基准测试2026-09-2811 分钟
计划先定死再写：美团 LongCat 用 ResearchSpec 评深度研究
公开三套基准分别高出对照里最强的 0.30、3.17、5.62。内部基准 76.04，仍比 ChatGPT 的完整 Deep Research 低 0.55。计划固定后不再重开，编辑加轮次也不保证每项都涨。
研究与基准测试2026-09-276 分钟
Agent 评测到底在测什么：说「订好了」不算数
打分要打在环境的最终状态上，不是它轨迹里说的那句完成。同一道题多跑几遍，失败样本先人工看再归类。
研究与基准测试2026-09-275 分钟
自动评测能找回多少失败：100 条真实对话的盲测结果
最好的系统召回 87%，每个系统都找到过人漏掉的问题，但「看起来对、体验不好」的一类全都抓不到。
研究与基准测试2026-09-2722 分钟
LLM Agent 的评测与基准：一篇综述
SAP Labs 四位作者的 KDD '25 综述全译：按「评什么」和「怎么评」两条轴整理 Agent 评测，并指出企业场景特有的访问控制、可靠性和合规挑战。原文 CC BY 4.0。
研究与基准测试2026-09-2715 分钟
用大语言模型对照自然语言需求做代码静态验证：一份工业经验报告
大语言模型（LLM）越来越多地被用来生成需求规格、设计文档、代码和测试用例。相比之下，一个更难的保障问题得到的关注少得多：静态地验证已实现的代码是否满足用自然语言写成的需求。Coverity、SonarQube 这类传统
研究与基准测试2026-09-2728 分钟
LLM 与人工单元测试：在真实 Python 缺陷上的故障检测能力
大型语言模型（LLM）在自动化单元测试生成方面已展现出相当大的潜力，但相对于人工编写测试的实际有效性仍然缺乏充分理解。现有评估通常依赖于面向覆盖率的基准测试，这些基准并不直接评估故障检测能力。我们提出了一项对 LLM 生
研究与基准测试2026-09-2730 分钟
ATLAS：通过 LLM 引导的抽象和自动机学习发现智能体策略
基于大语言模型（LLM）的智能体正越来越多地用于复杂任务，如软件测试和网络安全评估。虽然这些智能体展现出令人印象深刻的能力，但它们的行为难以理解、解释和分析。现有评估主要集中在任务成功率和执行轨迹上，对智能体所采用的策略
研究与基准测试2026-09-2735 分钟
使用大语言模型进行自动化基于模型的测试生成的实证评估
大语言模型（LLM）在自动化、分析和解释软件工程任务（如软件测试）方面展现出强大的潜力。基于模型的测试（MBT）是一种软件测试技术，其广泛的规模化挑战阻碍了工业界的采用。本文提出了一项关于使用大语言模型进行自动化基于模型
研究与基准测试2026-09-2742 分钟
使用模型检查作为预言机的基于大语言模型的事后解释器自动化测试
大语言模型（LLMs）被用作序列决策策略的事后解释器，生成关于为何选择某个动作的自然语言解释。然而，LLMs 经常生成看似合理但不正确的陈述，而且目前没有方法系统性地测试这些解释是否忠实于底层环境。两个经典的软件测试挑战
研究与基准测试2026-09-2732 分钟
代码大语言模型中健全且对抗性测试生成的两阶段强化学习
强化学习（RL）通过可执行反馈显著推进了代码大语言模型（LLM）的发展。针对编程问题的反馈主要来自特定测试用例，而高质量测试用例往往稀缺，因为它们必须同时具备健全性（sound）和判别力（discriminative）。
研究与基准测试2026-09-2742 分钟
从资源流到可执行测试：Petri 网指导的并发有状态 Rust API 大语言模型测试生成
并发有状态库 API 通过不断演变的资源所有权、生命周期状态和竞争的交错执行来暴露其行为。大型语言模型可以合成可执行的 Rust 测试，但其输出常常违反 API 前置条件、保持浅层状态，或将并发性退化为偶然的顺序追踪。相