行业与实践 · 标签「阿里云」

最新优先最早优先

查看全部

研究与基准测试2026-09-208 分钟
29 项平均分涨超 25%，时价按两分钟的 30 倍估算：Qwen3.8-Omni-Flash
Qwen3.8-Omni-Flash 的 29 项平均分比 Qwen3.5-Omni-Plus 提高超过 25%。OmniVideoBench 上准确率 63.4 到 67.8，token 从 145736 降到 79117。时价降幅按两分钟成本的 30 倍估算，不是准确率。
研究与基准测试2026-08-268 分钟
最高分要写明用的哪套 Harness：Qwen3.8-Flash-Next 把评测口径放进脚注
Qwen 团队 2026-08-26 发布 Qwen3.8-Flash-Next 时，把 DeepSWE、SWE-bench、OSWorld 的 Harness、温度、上下文和裁判模型写进脚注。同一行分数不能当成同场裸分。
研究与基准测试2026-08-258 分钟
预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打
阿里云 AgentLoop 评估器分 Agent Judge 和 Code。预置六项只有用途，没有准确率。名称和类型创建后不能改。Score 和 Reason 必选，CoT 可选。优势段写了 MCP，创建步骤只写上传 SKILL.md。
研究与基准测试2026-08-207 分钟
采样可以拉到 100%，最大样本数却没写死：阿里云 AgentLoop 的评估任务
阿里云 AgentLoop 评估任务的数据来自链路、日志或数据集。采样比例是 0% 到 100%。页面建议上线前用 100%，线上监控用 10% 到 50%，但没有给出最大样本数。删除任务不影响查看历史数据。
研究与基准测试2026-08-178 分钟
告警多不等于风险准：阿里云 AgentLoop 先把高风险队列做实
阿里云 2026-08-17 的 AgentLoop Audit 把局部命中和上下文判定分开。截图里凭证泄漏影响 6 个应用，模型侧 38 次提交、43 次回复泄漏。这些是运营计数，不是检出率。
研究与基准测试2026-08-1310 分钟
做得多不等于验得上：阿里云 ATOBench 把证据链从结果里拆出来
450 个回合、225 对。直接证明的 grounded verification 从 44.0% 到 0%，五个模型全是 0。归属从 45.3% 到 40.0%，凭据从 84.0% 到 58.7%。动作变多没有把证明找回来。
研究与基准测试2026-08-1211 分钟
描述不可信：阿里云用三天把 UGC 游戏 Agent 收成可回归
阿里云 AgentLoop 在 UGC 游戏 Agent 上用 3 天走完观测、分层评估、根因和回归。事实层按正确项除以正确加错误项打分，一条样本 16 项里 9 项错。回写后的新分数没有公布。
研究与基准测试2026-08-068 分钟
绿了也不算过：阿里云用 Qoder 让 Computer Use 自己验证到能过夜
Qoder 是阿里的 AI 编码桌面产品。Computer Use 每次构建必须用同一证书签名，Goal Mode 循环到通过或需要人决策。验证分单测、自建测试应用和评测集三层。原文写了连续数百小时，但没有公开图表上的分数。
研究与基准测试2026-08-058 分钟
RCA Benchmark：阿里云把根因分析变成可复现的 Agent 评测
阿里云联合多家机构开源 RCA Benchmark，用生产化微服务环境、四层结构化真值和三维加权评分，评估 Agent 是否真正定位分布式系统根因。
研究与基准测试2026-08-037 分钟
Qwen3.8-Max：从编码到协作，Agent 走向长程交付
Qwen 官方发布 Qwen3.8-Max，展示模型在多日自主编码、论文复现改进和真实竞赛中的长程交付能力，并强调模型、环境与 Harness 的协同扩展。
研究与基准测试2026-07-306 分钟
内部基准没给分数：阿里云 Qoder 只用四维比较专家模式
阿里云写了 Qoder Experts Mode 的组长编排和一次内部复杂任务基准：质量更高、成本更低，但没有总分和样本量。代码搜索 F-Score 提高 21%，浏览器省 60% Token，评审榜称 Top 2。
研究与基准测试2026-07-249 分钟
任务做对了，测试仍可能没覆盖：阿里云用义务清单卡 Cloud Skill 发布
157 个开发中的 Cloud Skill，补测前的充分性中位数 91.3%，仍有 36.3% 不到强制的 80%。132 份报告写出 639 条没测到的义务。80% 是发布政策，不是运行正确。
研究与基准测试2026-07-239 分钟
Coding Agent 上线前先要能被量：阿里云 Pilot 用轨迹回答四件事
阿里云 2026-07-23 开源 LoongSuite Pilot。它不改 Agent，把本机 Coding Agent 收成统一轨迹，用来定义完成率、Token 效率和自修复，并做安全审计。三工具对比只是同一次补单测，没有重复实验。
研究与基准测试2026-07-209 分钟
AgentLoop：先记下轨迹，再谈 Agent 评测和优化
阿里云 AgentLoop 把企业级 Agent 的优化写成观测、轨迹分析、评测、回测和持续优化五环。在线评测没有标准答案，实验评测用标注集打分，低分样本回流基线集。
研究与基准测试2026-07-177 分钟
留存升了 3.85%，工具错误降了 61.5%：Qwen-Coder-Qoder 的线上数就这些
Qwen-Coder-Qoder 在自建 Qoder Bench 上超过 Cursor Composer-1，Windows 终端命令准确率最多提高 50%。线上几周代码留存升 3.85%，工具错误降 61.5%，Token 降 14.5%。没有绝对分和样本量。
研究与基准测试2026-07-1610 分钟
人均 Token 会骗人：阿里云用八段看板看组织有没有真用上
阿里云 2026-07-16 用 Pilot 和 SLS 把 AI Coding 收成八段组织看板。DORA 的 39% ROI 是引用的模型数。看板截图写明是模拟数据。前 10% 超过 70% Token 只是判断线。
研究与基准测试2026-07-069 分钟
56 条能核对的尺子：通义用 Qwen-Image-Bench 评复杂文生图
通义实验室的 Qwen-Image-Bench 用 56 条可核验规则、五根能力柱和 1000 条中英提示词评文生图。Q-Judger 基于 Qwen3.6-27B，和专家判断的 Spearman 相关是 0.92，但没有给出专家人数。
研究与基准测试2026-07-0110 分钟
轨迹比答案难评：阿里云把 Agent 评测拆成步骤、路径和结果
阿里云 AgentLoop 把企业 Agent 飞轮写成采集轨迹、自动建 Golden 和 BadCase、再用 Agent 做评测。文中给出 55 个字段、84% 覆盖率和三层评分，并标明哪些数字来自外部论文。