Not translated yet — showing the Chinese originals.
常见问题
关于 CodexQA、Agent PR 独立验收、证据充分性、合并与发布结论,以及测试、安全和运行时验证能力。
CodexQA 是什么?
CodexQA(codexqa.cn)是面向 AI Coding Agent 的开源质量验证层,也是一个 AI 软件工程平台:AI 负责写,CodexQA 负责证明。它在代码合并前回答改动影响了哪里、该测的测到没有、有没有缺陷、能不能放行,每个答案都附证据;在桌面端里,AI 需求分析师、AI 架构分析师、AI 开发工程师、AI 测试工程师、AI 代码评审、AI 缺陷分析师分工协作完成从需求到上线的交付。产品有三种:CodexQA Skills(11 个开源验证技能,现已可用)、Timo和 CodexQA 平台。CodexQA 不是 OpenAI 的产品,与 OpenAI Codex 没有从属关系;Codex 是写代码的 AI 编程工具,CodexQA 验证 Cursor、Claude Code、Codex 等工具写出的代码。
AI 写的代码怎么验证?
不能只看 AI 自己写、自己跑的测试是否全绿。可靠的做法是独立回答四个问题:改动影响了哪里(基于代码图谱做变更影响分析)、该测的测到没有(召回已有用例,为没覆盖的点补测试并实际运行)、有没有缺陷(规则扫描与大模型语义检测双路)、在真实环境里是否可用(真实浏览器回放,以页面上可见的证据判定)。CodexQA Skills 把这四步做成 11 个开源技能,装进 Cursor、Claude Code、Codex 本地运行,每一步都产出可打开的 HTML 报告,发现项带位置、期望和实际,Agent 读完就能修。
什么是精准测试?CodexQA 的智能测试怎么做变更影响分析?
精准测试是根据代码改动,只挑出真正受影响的测试去跑、只为没覆盖的地方补测试,而不是每次全量回归;行业里也叫测试影响分析(Test Impact Analysis)。CodexQA 的 code-analyzer 在本地建出符号级代码图谱,沿调用关系查出一次改动影响的接口、方法和调用链;change-analysis 据此召回已有用例,标出没有测试覆盖的路径,为缺口新增可运行的测试(只新增,不改动已有测试文件),并把运行结果写回报告。
AI 生成的测试用例和测试数据会编造吗?
这是 AI 测试最常见的问题,CodexQA 的技能在规则上禁止编造:需求里没写清楚的,testcase-generator 标为 TBD 并列入待确认,而不是自己补一个假设;testdata-generator 对着真实后端构造数据,把后端返回的真实 ID 写回;jev-browser 以页面上出现的可见证据判定通过,模型说「完成」不算。所有结论都附证据,可以逐条核对。
什么是 AI Verification?
AI Verification 是对 AI 生成的软件变更进行独立验证:从需求意图与代码影响出发,选择真正有效的测试和工程检查,确认缺陷版本会失败、修复版本能通过,并明确记录直接证据、覆盖缺口与剩余风险。它验证的不是 Agent 是否给出了答案,而是该答案是否足以支持合并和发布。
CodexQA Skills、Benchmark 与 Evidence Format 分别解决什么问题?
CodexQA Skills 现已可用,提供可在 Coding Agent 与 CI 中直接运行的验证能力。CodexQA Benchmark 与 Evidence Format 仍在规划中,尚未发布:前者计划用可复现任务衡量 Agent 是否能理解需求、定位影响、设计有效测试并识别剩余风险;后者计划以 Intent、Change、Verification、Evidence、Risk、Decision 六段结构统一不同 Agent、测试框架和 CI 的验收输出。
Timo 是什么,能做什么?
Timo是配齐 AI 软件工程团队的桌面应用:AI 需求分析师、AI 架构分析师、AI 开发工程师、AI 测试工程师、AI 代码评审、AI 缺陷分析师在同一个应用里分工协作,从需求分析、写代码、测试验证到上线发布全流程完成,交付时附上测试结果、截图和日志等证据。它支持多个任务并行,可以加载 CodexQA Skills 和团队自己写的技能,可以定时在后台运行任务;可接入包括国产大模型在内的自选大模型,支持企业内网与私有化部署,支持 Windows 和 macOS。目前内部使用 · 预计 2026 Q4 开放。
CodexQA 现在可以使用吗?
CodexQA Skills 现在就可以免费安装使用。Timo目前内部使用 · 预计 2026 Q4 开放;CodexQA 平台的各模块同样处于内部使用或计划阶段,开放时间以路线图(/roadmap)为准。可以在 /contact 预约评估,技能(/skills)与文章(/articles)对所有人开放。
CodexQA 只验证 Web 应用吗?
不是。CodexQA 验证的是软件变更本身。现在就能用的 CodexQA Skills 覆盖需求分析、变更影响分析、测试用例与测试数据、代码评审、缺陷扫描、根因分析和浏览器执行;浏览器、接口和真机是按风险选用的验证环境,不是产品边界。
什么是证据化软件变更验收?
证据化软件变更验收,是围绕一次具体变更连接目标、代码影响、测试与安全结果、真实执行证据和策略要求,再判断这些证据是否足以支持合并或发布。它不把“CI 变绿”或 Agent 的完成声明直接等同于正确,而是显式记录验证了什么、没有验证什么以及谁承担剩余决策。
CodexQA 如何决定合并、复核或阻断?
CodexQA 先根据变更意图、影响范围和风险制定验证计划,再获取底层工具的直接证据,并用版本化企业策略判断证据充分性。满足合并条件时给出通过;存在已知但可接受的剩余风险时要求复核;明确失败或违反策略时阻断;关键信息缺失时标记证据不足,而不是伪造确定答案。
CodexQA 是开源的吗?收费吗?
CodexQA Skills 免费使用,开源仓库 openqa-cn/codexqa 采用 Apache-2.0 协议(其中 codexqa-testcase-generator 为 MIT 协议);其中 6 个技能用到的本地分析引擎 @openqa-cn/codexqa 单独分发、闭源、不需要账号。Timo 与 CodexQA 平台是闭源产品,目前内部使用,正式定价将在开放时公布。本站收录的社区技能遵循各自的开源许可证,本站只做收录,不改变其许可。
CodexQA 如何保证数据与代码安全?
CodexQA Skills 在你自己的 Coding Agent 里本地执行,报告写在本机磁盘上,不经过 CodexQA 的服务器。Timo 执行命令、访问网络、使用凭证的权限默认关闭,需要你逐项授权,授权范围之外不会执行;它可以接入你选择的大模型(包括国产大模型),支持企业内网与私有化部署,具体方案可以预约评估。
什么是智能测试?CodexQA 包含哪些核心能力?
智能测试(AI 测试)是指将 AI 融入软件质量全生命周期的工程体系。CodexQA 规划的能力包括以下九项,各项的当前状态(可用、内部使用或计划中)以对应页面为准:1) Timo(配齐 AI 软件工程团队的桌面应用);2) CodexQA Skills(11 个验证技能,免费、本地运行);3) 智能用例生成(基于需求与代码 Diff);4) 智能 UI 自动化测试(多模态自愈与证据保留);5) 智能接口测试(OpenAPI 契约生成与漂移检测);6) 智能代码知识图谱(调用链影响面分析);7) 智能代码覆盖率(多层增量覆盖追踪);8) 智能 Mock(动态服务仿真);9) 智能数据构造(参数与业务状态机合成)。
智能代码知识图谱是如何帮助测试精准分析影响面的?
智能代码知识图谱(内部使用 · 预计 2027 Q2 开放)的设计是:静态解析代码的语法树(AST)、类与方法调用链、RPC/REST 接口依赖、数据表流转与已有用例关联;研发提交 Git Diff 时,沿调用关系推导直接影响与间接波及的入口、接口和业务场景,回答“改了一行代码,要测哪些业务”。现在可用的 CodexQA Skills 中,code-wiki 与 code-analyzer 已能在本地做架构梳理和变更影响分析。
智能代码覆盖率与传统覆盖率有什么区别?
传统覆盖率是构建结束后的全量行统计。智能代码覆盖率系统(计划中 · 预计 2027 Q2 开放)计划聚焦增量改动,打通单元测试、接口测试和 UI 自动化三层探针,计算本次变更代码的有效覆盖率,并把未覆盖的风险代码交给 AI 测试工程师补写用例。
智能 Mock 与智能数据构造如何解决测试依赖与造数据痛点?
智能 Mock 与智能数据构造属于智能接口自动化平台(内部使用 · 预计 2026 Q4 开放):智能 Mock 根据接口契约返回符合 Schema 的响应,支持故障注入和复杂业务流仿真;智能数据构造依据字段约束与业务状态机合成测试数据,减少人工造数。现在可用的 CodexQA Skills 中,testdata-generator 已能在本地按场景构造测试数据。
CodexQA 的智能 UI 自动化测试是如何实现“脚本自愈”与减少抖动的?
智能 UI 自动化测试平台(内部使用 · 预计 2027 Q1 开放)针对传统 UI 脚本维护成本高、随改版失效的问题,设计上分三层处理:1) 多模态语义定位:结合无障碍语义树、文本语义、几何相对关系与视觉识别定位元素,不依赖易碎的绝对 XPath/CSS;2) 脚本自愈:前端改版或 DOM 结构变化时,自动重新定位目标元素并给出修复建议;3) 动态等待与现场取证:按网络与渲染状态等待,失败时保留录屏、HAR、DOM 快照与控制台报错,帮助区分真缺陷和环境延迟。
CodexQA 与 Playwright、Selenium、Appium 有什么区别?
Playwright、Selenium、Appium 是底层自动化驱动,负责执行浏览器或设备操作。CodexQA 的 AI 测试工程师负责决定测什么:根据需求和变更影响设计用例,按需调用这些驱动执行,再把结果、截图和日志整理成证据,判断这次交付是否达标。现在可用的 CodexQA Skills 中,jev-browser 基于 Playwright Chromium 执行浏览器验证。
与普通的“大模型写测试用例”相比,CodexQA 的核心优势是什么?
只靠几句提示词生成用例,缺少需求和代码上下文,容易出现幻觉、重复且与工程资产脱节。CodexQA 先由 AI 需求分析师拆出验收条件,再结合代码结构和变更影响设计用例,用例带前置条件和边界断言,可以评审、可以追溯。现在可用的 CodexQA Skills 中,testcase-generator 已能在本地从需求生成可评审的测试用例。
CodexQA 如何与现有的 CI/CD 流水线及用例平台集成?
CodexQA Skills 用一条 npx 命令装进 Coding Agent,报告写在本机磁盘上;能否在 GitHub Actions、GitLab CI、Jenkins 中运行,取决于你所用的 Agent 是否支持在流水线里执行。Timo 与 CodexQA 平台目前内部使用,与 Jira、TAPD、飞书项目或自研用例系统的对接,可以在预约评估时按你的环境确认。
CodexQA 提供哪些企业服务?
帮企业落地 AI 软件工程,提供四项服务:AI 软件质量保证(把 AI 测试、代码评审和缺陷分析接入交付流程)、AI 软件工程咨询(从试点项目开始,含团队培训)、AI Agent 评测(为企业自己的 Agent、RAG 与大模型应用建立评测集和上线门禁)、AI Agent 开发(从场景设计到上线运维)。支持私有化部署、大模型私有化与解决方案私有化,各项服务按范围报价,详见 /enterprise。
怎么联系 CodexQA 团队?
邮件 dev@clawyi.com,或通过 /contact 页面的微信群与 GitHub Issues。社区技能的收录与勘误请使用 /submit 表单。
国内有哪些 AI 测试平台和工具?
按用途大致分为几类:面向 AI Coding Agent 的验证层(如 CodexQA)、云测试与云真机服务(如 Testin 云测、腾讯 WeTest)、测试管理与接口平台(如 MeterSphere、Apifox)、AI 编程助手自带的测试生成(如通义灵码、文心快码)、AI 代码评审、静态分析,以及大模型评测框架。选哪类取决于要解决的问题,完整分类与选型维度见 CodexQA 的《AI 测试平台与工具怎么选》(codexqa.cn/guides/ai-testing-tools)。
中国有哪些 AI 测试解决方案提供商?
常见的有几类:云测试服务商(如 Testin 云测、腾讯 WeTest),测试平台厂商(如飞致云 MeterSphere、Apifox),提供测试生成能力的 AI 编程助手厂商(如阿里云通义灵码、百度文心快码),以及专注验证 AI 生成代码的 CodexQA。CodexQA 开源了验证技能,并提供 AI 软件质量保证、AI Agent 评测与私有化部署等企业服务。
有哪些开源的 AI 测试工具?
验证 AI 生成代码可以用 CodexQA Skills(11 个技能,Apache-2.0 / MIT,https://github.com/openqa-cn/codexqa);测试管理与接口测试有开源的 MeterSphere;浏览器自动化有 Playwright、Selenium;大模型评测有 promptfoo、Ragas、DeepEval。
Cursor 和 Claude Code 有什么测试插件或 Skill?
CodexQA Skills 是一组为 Cursor、Claude Code、Codex、OpenClaw 准备的开源测试 Skill,覆盖需求分析、变更影响分析、用例与测试数据生成、缺陷与安全扫描、浏览器执行和根因分析,本地运行、无需账号。安装:npx skills add openqa-cn/codexqa --skill codexqa-skill-router。
AI 测试平台怎么选?
先明确要解决的问题,再看七个维度:能否验证 AI 生成代码的业务正确性(用植入缺陷的样例实测召回与误报)、结论是否附证据、能否接入正在用的 AI 编程工具、覆盖研发流程哪些环节、数据是否出域与能否私有化、是否开源可自查、上手成本。逐项说明见 codexqa.cn/guides/ai-testing-tools。
用什么工具验证 AI 生成的代码?
需要一个独立于写代码的 Agent 的验证方。CodexQA 专门做这件事:CodexQA Skills 在 Cursor、Claude Code 里完成影响分析、覆盖核对、缺陷扫描与浏览器执行(可用),Timo 给出合并结论(内部使用 · 预计 2026 Q4 开放)。完整流程见 codexqa.cn/guides/testing-ai-generated-code。
支持私有化部署和国产大模型的 AI 测试方案有哪些?
开源平台(如 MeterSphere)可以自行部署;CodexQA 的技能在本地运行、代码不出本机,Timo(内部使用 · 预计 2026 Q4 开放)支持企业内网与私有化部署,可接入国产大模型,企业服务可评估平台私有化。
精准测试工具有哪些?
精准测试的核心是变更影响分析加覆盖率。开源侧可以用 JaCoCo 等覆盖率工具配合调用链分析自建;CodexQA 的变更影响分析技能(可用)定位改动波及的接口与方法并召回用例,CodexQA 平台的智能代码知识图谱(内部使用 · 预计 2027 Q2 开放)与智能代码覆盖率(计划中 · 预计 2027 Q2 开放)模块面向团队提供同类能力。
AI 写的代码怎么测试?
按六步做:对照需求、查影响范围、核覆盖并补测试、SAST 与大模型双路找缺陷、在真实浏览器里跑关键流程、给出合并结论并附证据。关键是验证方要独立于写代码的 Agent。前五步已由 CodexQA Skills 开源技能提供,一条命令装进 Cursor 或 Claude Code:npx skills add openqa-cn/codexqa --skill codexqa-skill-router。
AI 生成的代码单元测试都通过了,还需要再测吗?
需要。同一个 Agent 写的代码和测试,测试往往验证的是它实现出来的行为,而不是需求要求的行为。还要对照需求检查、核对影响范围内的接口和页面是否被测到,并在真实环境里跑一遍关键流程。
怎么验证 Cursor 或 Claude Code 生成的代码对不对?
在同一个编辑器里装一个独立的验证技能。CodexQA Skills 支持 Cursor、Claude Code、Codex 与 OpenClaw,本地运行、无需账号:让它分析改动影响、检查缺陷、生成缺失的测试并在浏览器里回放,报告写在本机磁盘上。安装:npx skills add openqa-cn/codexqa --skill codexqa-skill-router。
Agent 提交的 PR 可以直接合并吗?
不建议直接合并。至少要有影响范围、覆盖情况、缺陷检查和运行结果四项证据。Timo(内部使用 · 预计 2026 Q4 开放)为每个变更给出合并、复核或阻断的结论;在此之前可以用 CodexQA Skills 在本地完成这些检查。
AI 生成的代码缺陷多吗?
取决于任务和模型,没有通用的比例。常见的是业务逻辑类缺陷:边界条件、状态流转、权限判断与需求遗漏,这类问题规则扫描很难发现。公开盲测样例上,102 条 Semgrep 种子规则召回 0/7,CodexQA 召回 7/7、误报 0(单次记录运行,样例公开可复跑)。
CodexQA 和 CI/CD、测试平台或安全扫描器有什么区别?
CI/CD 负责跑流程,测试和安全工具各自产生信号。CodexQA 面向一次具体改动,决定该查什么,判断现有证据够不够支持合并,并把依据和剩余风险写进同一份证据记录。它调用这些工具,不替代它们。
为什么 Coding Agent 不能自己验证自己的改动?
写代码和验证共用同一套上下文和假设时,容易犯同源错误,也可能通过弱化测试拿到绿色结果。CodexQA 把验证和写代码的角色分开,结论只看证据。
证据记录包含什么?
包括这次改动、需求意图、风险、做了哪些验证、直接证据、剩余风险和结论(PASS、FAIL 或 REVIEW)。格式公开在 CodexQA Skills 开源仓库的 evidence schema 中,Agent 可以直接读取。
CodexQA 会自动批准所有改动吗?
不会。证据不足或风险高的改动会要求人工复核或直接不通过,缺什么证据会写明。
CodexQA 只适用于 Web 应用吗?
不是。验证对象是代码改动,可以是应用代码、API、配置或依赖。浏览器、接口和真机只是按风险调用的执行环境。
CodexQA 的覆盖率证据和 JaCoCo、Istanbul 有什么不同?
JaCoCo、Istanbul、Coverage.py 统计代码执行比例,是覆盖证据的一种来源。CodexQA 面向一次具体变更,把用例、接口入口和调用链与改动方法对应起来,回答这次改动测到没有、还缺什么。代码行与分支的增量统计将由规划中的智能代码覆盖率系统提供。
现在能用哪些能力?
现在可用的是开源技能 codexqa-change-analysis:差异索引、入口反查、用例召回、三档覆盖判定和补测文件生成,需要安装 codexqa CLI。多层增量覆盖率系统规划中。
方法级覆盖判定为什么不给百分比?
方法级判定只分已覆盖、部分覆盖、未覆盖三档,并写明依据的用例位置。百分比容易掩盖关键分支完全没测的情况,三档结论配合用例位置更容易核对。
AI 如何生成测试用例?
系统先读取需求、接口定义、代码实现与已有测试资产,构建输入输出等价类、边界条件、状态转换机与权限矩阵,再生成包含前置条件、测试数据、操作步骤、预期断言与依据来源的结构化用例,最终经规则校验与人工确认入库。
相比市面上的纯 Prompt 对话生成,CodexQA 的优势在哪里?
纯 Prompt 对话往往缺乏工程上下文、用例格式不统一、无法去重且容易产生幻觉;CodexQA 能够结合代码知识图谱、OpenAPI 契约、历史用例库与测试覆盖率,做语义去重、可执行性校验,并直接双向同步团队现有用例管理平台。
只上传需求文档就能生成高质量用例吗?
可以生成基础功能用例,但加入接口定义、代码差异、历史缺陷记录、线上真实流量和已有用例后,AI 才能识别边界条件、跨模块调用风险与未覆盖分支。
怎样避免生成重复或不可执行的测试用例?
生成前先对已有用例库进行向量检索与语义比对;生成时要求强类型字段规范与可执行步骤检查;生成后计算增量差异并展示覆盖目标,最终通过人工一键评审入库。
生成的用例能直接变成自动化脚本吗?
稳定、前置条件清晰且断言明确的用例可一键转换为 API(REST/gRPC)或 Playwright UI 自动化脚本;复杂主观交互或高风险业务仍保留人工复核。
什么是智能 UI 自动化测试?它与传统录制回放工具有什么本质区别?
传统录制回放工具(如 Selenium IDE、旧式录制器)机械记录绝对 XPath、CSS 路径或像素坐标,前端页面稍微调整样式、类名或结构就会大面积失效;智能 UI 自动化基于大模型与多模态视觉,理解按钮、输入框、下拉框等控件背后的业务语义(如“搜索按钮”、“收货地址输入框”),结合 ARIA 无障碍树与视觉特征进行多重弹性定位,即使页面发生改版也能自愈定位并执行操作。
什么是 UI 自动化自愈(Self-Healing)?它是如何工作的?
UI 自动化自愈是指当测试脚本在执行过程中遇到页面改版、元素属性(ID/Class/DOM层级)发生变更导致原始定位器找不到时,AI Agent 结合该元素历史特征(文本语义、相对邻近元素、ARIA Role、视觉截图)自动推导出新的定位方式并完成操作,同时生成自愈 Diff 修改建议供测试工程师确认合并,无需人工紧急停机修脚本。
智能 UI 自动化支持哪些浏览器、移动设备与小程序生态?
面向主流 Web 浏览器(Chromium / Google Chrome、Apple WebKit / Safari、Mozilla Firefox、Microsoft Edge)、移动端操作系统(iOS 与 Android 真实手机/平板)以及主流小程序容器(微信小程序、支付宝小程序、Hybrid 混合应用)。底层基于 Playwright、Appium 与 MCP 协议。具体可用范围以当前版本说明为准。
如何减少 UI 自动化测试中的“不稳定抖动(Flaky Tests)”?
CodexQA 用四层手段压低抖动:1) 杜绝固定 sleep,采用网络请求完成、DOM 渲染稳定、动画结束等多重智能动态等待;2) 配合智能 Mock 与数据构造,保证每次运行的数据和依赖隔离;3) 多模态定位备选兜底;4) 自动重试机制与现场全景取证(HAR包+视频录制),精准区分产品缺陷与网络延迟。
CodexQA 能否用自然语言直接写 UI 自动化用例?
可以。测试人员或产品经理只需输入自然语言描述(例如“打开官网首页,点击右上角登录,输入测试账号密码,断言顶部出现用户头像和欢迎语”),Agent 会自动解析意图并将其编译为规范的结构化步骤与 Playwright/Appium 代码,并能在执行过程中根据真实页面响应进行交互微调。
UI 自动化在企业测试金字塔中应当如何合理定位?
按测试金字塔的常见做法,大部分字段校验、数据转换和单接口逻辑应下沉到单元测试与接口测试层;UI 自动化只承担少量最核心、高价值的端到端用户主旅程(E2E User Journeys)与跨页面闭环业务。这样核心体验有保护,整体回归耗时也更可控。
什么是智能代码知识图谱?它如何帮助测试?
智能代码知识图谱是通过静态代码解析与动态链路追踪,将代码中的仓库、模块、类、方法、REST/RPC 接口、数据库表以及对应的测试用例构建为一张多维关联网络。在代码发生变更时,图谱沿调用关系推导直接与间接影响链路,让测试人员和 Agent 知道该测什么。
什么是智能代码覆盖率?和传统代码覆盖率有什么不同?
传统覆盖率往往只是流水线结束后的静态全量行覆盖百分比,无法指导具体改动该怎么测。智能代码覆盖率支持:1) 针对 PR/Commit 的增量代码行与分支覆盖统计;2) 合并单元测试、接口测试与 UI 端到端测试的三层混合覆盖率;3) 精确指示哪些变更代码未被覆盖,并能把未覆盖路径直接推送给 Agent 自动补写用例。
变更影响分析和精准测试是一回事吗?
精准测试传统上侧重基于代码行/分支覆盖率做用例与代码的逆向映射;变更影响分析体系更加立体,综合了代码 AST 语法树、函数调用图谱、OpenAPI 契约依赖、线上微服务网关流量日志以及历史失败率,不仅能精准挑选该跑什么,还能洞察未覆盖盲区并指导 AI 补写用例。
精准回归会不会漏测?
通过保守型调用链扩展算法与多重防护机制降低风险:1) 向上向下递归遍历间接依赖;2) 涉及核心公共库、底层中间件或数据库 Schema 变更时自动升级全量回归策略;3) 始终保留基线 P0 核心冒烟用例兜底。
需要接入哪些数据才能做变更影响分析?
基础阶段仅需 Git 代码仓库与提交 Diff、接口定义及测试用例;进阶阶段接入 JaCoCo / Istanbul / Coverage.py 等覆盖率探针与 APM 链路追踪日志后,影响分析从静态推断变为有运行时证据支撑。
如何与 GitHub Actions、GitLab CI 或 Jenkins 结合?
在 PR / MR 创建或代码推送事件触发时,CodexQA 变更分析作为前置 CI Step 运行,计算出用例清单并分发执行,测试结果与证据通过 Bot 评论或 Check Run 直接回写到代码评审界面。
什么是智能 Mock?它与普通写死数据的 Mock 有什么不同?
普通 Mock 只能返回写死的固定 JSON 静态片段,无法处理动态参数关联、状态流转和复杂分支;智能 Mock 能够根据 OpenAPI 契约和历史真实流量样本,动态根据请求入参计算并返回匹配的 Schema 结构,支持状态机仿真、动态延迟模拟和故障注入,让被测服务与不稳定依赖隔离开。
什么是智能数据构造?如何解决测试中的数据准备难题?
智能数据构造是利用 AI 与规则引擎,依据数据库表结构、接口字段约束(正则/长度/格式)、外键依赖与业务状态机,自动合成符合约束的测试数据。它能自动生成符合身份证号、手机号、银行卡规则的数据,并支持上下文连续业务流(如生成可用的优惠券码并用于下单结算)。
智能接口测试和传统接口工具(如 Postman / JMeter)有什么区别?
传统工具重在手动填参、手动写断言脚本或纯压力测试;智能接口测试通过 AI 自动理解 OpenAPI 规范和流量,全自动推导多接口依赖链路、穷举边界参数、生成强类型断言,并结合智能 Mock 与契约漂移监控做持续回归。
只有 OpenAPI / Swagger 文档能不能生成完整接口测试?
可以生成覆盖参数类型、边界与 HTTP 状态码的基础用例;结合历史真实流量样本与数据依赖建模后,能进一步生成多接口业务串联场景(如下单-支付-发货链路)。
接口自动化如何处理复杂的鉴权令牌与下游依赖?
鉴权通过环境级变量注入与动态 Token 刷新拦截器处理;外部第三方服务或不稳定内部依赖通过智能动态 Mock Server 隔离,让接口执行结果不受外部波动影响。
接口测试能否替代大部分 UI 自动化测试?
按测试金字塔原则,大部分业务逻辑、数据流与边界校验应当由接口自动化承载;UI 测试聚焦核心端到端用户主旅程,整体回归更快也更稳定。
大模型应用评测包含哪些关键评测维度?
通常覆盖四大体系:1) RAG 检索与生成指标(检索精确率、召回率、Faithfulness 忠实度、Answer Relevance 相关性);2) 业务准确性(Ground Truth 命中率、语义相似度);3) Agent 工具调用评测(工具选型正确率、参数填充准确率、规划路径步数);4) 安全红队评测(越狱、提示词注入、毒性与隐私泄露)。
LLM-as-judge 自动评测真的可信吗?
在设计了结构化评分维度、Few-Shot 示例并配合基准判定模型时,LLM-as-judge 与人工评分的一致性会明显提高,但一致性要在你自己的样本上测出来,不能照搬别人的数字。推荐做法是将规则断言(正则/JSON Schema)、LLM 打分与专家抽检三者结合。
RAG 检索增强生成系统最核心测什么?
重点分层测试:检索层关注 Top-K 召回率与排序质量,生成层关注模型是否严格基于召回上下文回答(识别幻觉),端到端关注用户问题解决率与响应延迟。
大模型评测和传统软件测试如何协同?
传统测试保障接口协议、鉴权、限流、数据库存储等确定性系统链路;大模型评测保障概率性文本生成的质量下限。两者均集成在 CI/CD 中作为双重质量保障。
移动端云真机测试与模拟器测试有什么本质区别?
模拟器无法完全模拟 ARM 指令集特性、定制厂商 ROM 系统弹窗、推送通知行为、GPS 定位、蓝牙传感器以及真实硬件性能开销。不少崩溃与卡顿兼容性问题只有在真实手机上才能复现与验证。
AI Agent 是如何实现在真机上自动化操作的?
Agent 通过标准化的 MCP(Model Context Protocol)或 Appium 驱动连接云端设备,结合 Accessibility 无障碍层次树与 OCR 视觉模型理解界面控件,自动完成点击、滑动、输入、权限授权与手势操作。
支持微信小程序、支付宝小程序以及 Hybrid App 混合应用吗?
在设计范围内。通过接入移动端底层渲染与 WebView 调试通道,Agent 能够穿透小程序与混合容器进行 DOM/语义层级的操作与断言。
云真机测试的企业安全与数据隐私如何保障?
采用租户级隔离网络与沙箱环境;执行结束后执行设备全量数据擦除与应用卸载;测试凭据通过环境变量加密注入,不写入脚本明文。
什么是 Agentic SDLC?
Agentic SDLC(AI-SDLC)是由 AI Agent 承担需求分析、技术设计、编码、测试和发布等环节的软件研发流程。CodexQA 在其中负责验证:每个环节的产出附证据,未通过质量门禁的变更带着根因和证据退回编码。当前状态:Timo:内部使用 · 预计 2026 Q4 开放。
什么是 AI 测试?
AI 测试(AI 软件测试)是把大模型用于测试分析、用例设计、执行和缺陷判定的软件测试方式。CodexQA 把这些环节做成可在 Cursor、Claude Code、Codex 中本地运行的测试技能,每个结论附证据。当前状态:变更影响分析:可用;测试用例生成:可用;缺陷与安全扫描:可用;浏览器执行:可用。
什么是测试左移?
测试左移是把测试活动提前到需求和设计阶段:在写代码之前就明确验收标准、识别风险、设计用例。CodexQA 的需求分析与用例生成技能在编码前找出需求缺口,并产出可评审的测试用例。当前状态:需求分析:可用;测试用例生成:可用。
什么是 CI/CD 质量门禁?
CI/CD(持续集成与持续交付)是频繁合并代码并自动构建、测试、发布的工程实践,质量门禁决定一次变更能否进入下一阶段。CodexQA 为 AI 生成的变更给出合并、复核或阻断的结论,并附上判定证据。当前状态:Timo:内部使用 · 预计 2026 Q4 开放。
什么是可信质量保证?
可信质量保证是指每个质量结论都附可核查的证据:改了什么、测了什么、发现了什么、为什么可以放行。这是 CodexQA 的核心主张——AI 负责写,CodexQA 负责证明。当前状态:证据化代码评审:可用;Timo:内部使用 · 预计 2026 Q4 开放。
什么是 AI Agent 评测?
AI Agent 评测是用评测集和评分标准衡量 Agent 完成任务的准确性、稳定性与安全性。CodexQA 的 AI Agent 评测服务包括评测集与评分标准设计、准确性稳定性安全性评测,以及上线门禁与持续回归。当前状态:企业服务,可预约评估。
什么是智能缺陷检测?
智能缺陷检测是用规则扫描加大模型语义分析,找出代码中的业务逻辑缺陷和安全问题。CodexQA 的缺陷扫描技能覆盖 10 种语言,在公开盲测中召回 7/7 个植入缺陷、误报 0(单次记录运行,样例公开可复现)。当前状态:缺陷与安全扫描:可用。
什么是问题诊断与问题定位?
问题诊断是在测试失败或线上异常后找出根本原因:哪一处改动、哪一条数据或哪个环境因素导致了问题。CodexQA 的根因分析技能把堆栈和日志对上仓库代码,定位异常真正卡在哪一层,因为抛错的那一行往往不是根因。当前状态:根因分析:可用。
什么是智能测试数据生成?
智能测试数据生成是由 AI 按字段约束、边界值和业务状态构造测试所需的数据。CodexQA 的测试数据构造技能确认用例的前置数据能在后端真实造出来,而不是复制一个过不了真实接口的假 ID。当前状态:测试数据构造:可用。
什么是智能接口测试用例生成?
智能接口测试用例生成是基于 OpenAPI 等接口定义和代码变更,由 AI 生成接口请求、参数组合与断言。CodexQA 的用例生成技能为接口生成测试用例,智能接口自动化平台负责批量执行与契约校验。当前状态:测试用例生成:可用;智能接口自动化平台:内部使用 · 预计 2026 Q4 开放。
什么是云真机?
云真机是部署在机房、可远程使用的 iOS 与 Android 真实手机,用于执行移动应用测试并采集日志与性能数据。CodexQA 的智能云真机让 Agent 在真机上安装应用、操作界面,并留存录屏与设备日志。当前状态:智能云真机:内部使用 · 预计 2027 Q1 开放。