CodexQA 智能 UI 自动化测试平台融合自然语言用例生成、基于 ARIA 语义与多模态视觉的智能元素定位、自愈式脚本维护（Self-Healing）与真机并行执行，自动留存 HAR 网络包、控制台日志与步骤录屏，减少脚本因改版失效和环境抖动带来的误报。
2 项能力中 1 项现已可用智能 UI 自动化测试（AI-Driven UI Automation）是基于大语言模型、计算机视觉与无障碍语义树（Accessibility Tree），理解 Web、移动 App 与小程序界面结构，完成端到端业务流生成、元素多重定位、脚本自愈（Self-Healing UI）、跨端执行与失败诊断的测试方法。它针对的是传统 UI 测试维护成本高、脚本随改版失效的问题：定位依据从单一选择器换成语义与视觉的组合，失败时保留现场证据。
相关术语：页面图谱、智能 UI 自动化测试、GUI 自动化测试
将产品需求 PRD 或业务步骤描述（如“登录-加入购物车-选择优惠券-结算支付”）一键转化为标准 Playwright / Appium 可执行脚本，自动推导合理等待、断言与数据准备。
融合 ARIA Role 语义、可访问名称、页面文本、相对几何关系与视觉特征（OCR + 图像语义）构建多维定位锚点。当前端页面改版、DOM 属性漂移时，Agent 自动推断目标元素并动态自愈修复脚本。
单套业务用例无缝并发分发至 Web 多浏览器（Chromium、WebKit、Firefox）以及移动端真实 iOS、Android 手机与小程序容器，支持分布式矩阵加速。
执行过程实时捕获高帧率录屏、步骤前后 DOM 快照、HAR 网络抓包包体、控制台报错与设备性能指标，AI 自动归因是“产品回归 Bug”、“前端动画延迟”、“网络环境抖动”还是“接口异常”。
执行结果与自愈后的脚本一键同步回团队用例管理平台与 Git 仓库，可无缝嵌入 CI/CD 流水线作为代码合并前的 UI 质量门禁。
4 个步骤，每一步做什么、依据什么，都写在这里。
目标是让团队少花时间重复确认，把注意力留给证据不足和风险更高的变更。
传统录制回放工具（如 Selenium IDE、旧式录制器）机械记录绝对 XPath、CSS 路径或像素坐标，前端页面稍微调整样式、类名或结构就会大面积失效；智能 UI 自动化基于大模型与多模态视觉，理解按钮、输入框、下拉框等控件背后的业务语义（如“搜索按钮”、“收货地址输入框”），结合 ARIA 无障碍树与视觉特征进行多重弹性定位，即使页面发生改版也能自愈定位并执行操作。
UI 自动化自愈是指当测试脚本在执行过程中遇到页面改版、元素属性（ID/Class/DOM层级）发生变更导致原始定位器找不到时，AI Agent 结合该元素历史特征（文本语义、相对邻近元素、ARIA Role、视觉截图）自动推导出新的定位方式并完成操作，同时生成自愈 Diff 修改建议供测试工程师确认合并，无需人工紧急停机修脚本。
面向主流 Web 浏览器（Chromium / Google Chrome、Apple WebKit / Safari、Mozilla Firefox、Microsoft Edge）、移动端操作系统（iOS 与 Android 真实手机/平板）以及主流小程序容器（微信小程序、支付宝小程序、Hybrid 混合应用）。底层基于 Playwright、Appium 与 MCP 协议。具体可用范围以当前版本说明为准。
CodexQA 用四层手段压低抖动：1) 杜绝固定 sleep，采用网络请求完成、DOM 渲染稳定、动画结束等多重智能动态等待；2) 配合智能 Mock 与数据构造，保证每次运行的数据和依赖隔离；3) 多模态定位备选兜底；4) 自动重试机制与现场全景取证（HAR包+视频录制），精准区分产品缺陷与网络延迟。
可以。测试人员或产品经理只需输入自然语言描述（例如“打开官网首页，点击右上角登录，输入测试账号密码，断言顶部出现用户头像和欢迎语”），Agent 会自动解析意图并将其编译为规范的结构化步骤与 Playwright/Appium 代码，并能在执行过程中根据真实页面响应进行交互微调。
按测试金字塔的常见做法，大部分字段校验、数据转换和单接口逻辑应下沉到单元测试与接口测试层；UI 自动化只承担少量最核心、高价值的端到端用户主旅程（E2E User Journeys）与跨页面闭环业务。这样核心体验有保护，整体回归耗时也更可控。