实验室
我们在研究一件事：AI 时代的测试流程应该怎么重构。这里公开正在进行的实验、用真实数据量出的结论、以及还没解决的问题——哪些能力"看起来智能"但实测产出接近零，也一并记录。
我们在研究什么
传统移动端测试流程通常被描述为五个环节：需求与技术方案获取 → 测试方案设计与用例设计 → 测试执行（日常验证 / 发版回归）→ 报告与结果分析 → 用例优化。我们的判断是：其中「用例设计」与「结果分析」会被 AI 实质替代——方案与用例将合并为"人定边界、AI 产用例"一步；「测试执行」应当与 AI 解耦（确定性、零 token、可复现）；而最大的变化是——测试资产从"脚本"迁移到"页面图谱 + 校准规则"：脚本是消耗品（App 一改版就批量失效），图谱和规则是复利资产。最后一个环也不是终点：校准规则与图谱更新会回流到第二环，让下一轮生成与回归更稳。
正在进行的实验
每个实验都在独立分支上运行、可独立回退、只接受真实数据检验；验证有效的才会进入正式版。
覆盖缺口分析
回答"图谱里有、用例没碰"的问题——把"防漏"从口号变成清单。核心不在代码，在口径定义：分母怎么定，决定指标是信号还是噪声。
生成路径清单校验
让"AI 只能操作真实存在的控件"这道闸，在生成路径上也有事后校验（此前只有提示词层注入）。与导入路径复用同一套判据，不写第二份实现。
mat gen，抓出此前必然漏掉的系统弹窗误点击（R19）并写入用例元数据。前置条件求解
实测发现多数失败不是"能力不足"，而是用例从中间状态开始、前置状态不符。实验让工具自动重放到达路径而不是要求人写前置条件。
真实数据：哪些能力不像看起来那么智能
以下数字来自真实跑测的复盘（1096 份执行记录 / 61 条失败逐条归因 / A-B 对照实验），全部可复核。我们如实公布，包括对产品不利的。
| 能力 | 实测 | 说明 |
|---|---|---|
| AI 生成用例质量 | 已到天花板 | 对照实验 12 个候选任务里 8 个在对照组就已 100%——生成不是瓶颈 |
| 失败自愈 | 267 个失败步 → 7 个提案（2.6%） | 机制成立但产出极低——因为多数失败根本不是定位问题 |
| 视觉兜底 | 命中 0 次 | 58 次"未命中或未启用"；默认关闭是对的 |
| 校准规则 | 0 条被使用 | 机制建好了但没人用——缺的不是功能，是流程 |
| 图谱认页 | 同页稳定性 12% | 页面指纹去重仍有噪声——覆盖率口径因此以控件值为单位 |
| 变更影响分析 | 未实现 | 0 处相关逻辑；先用"人工 + AI 对话"验证需求再决定做不做 |
实验纪律：怎么保证不吹牛
实验只跑在独立分支上，不碰正式版；证明有效、可独立验证后，按实验粒度摘回，而不是整支合并。
所有结论来自真实设备、真实 App、真实用例的跑测记录；不用构造数据，不用单一样本下结论。
每个指标先定义分母和口径再采集；分不清"信号"和"噪声"的指标不写进验收（详见下面"未解决"）。
产出接近零的实验同样记录在案——知道哪些路不通，和知道哪些路通一样有价值。
当前没解决的问题
按全部控件算，永远是零点几个百分点，团队会为了达标灌水；按"核心页面 + 该页主操作控件"算，可控但需要人工标注。我们倾向前者收窄，判据冻结成文字后才启用。
提案太少（个位数）时，任何波动都会被当成趋势。更可行的替代指标是"定位类失败占比"——从归因结果直接算出，不需要额外人工流程。
回放不调用模型，token 成本与规模脱钩；但真机时间仍是真实成本，且风控页面会中断探索。"回归成本与规模脱钩"应理解为 token 脱钩，排期时不能低估真机时间。
你怎么参与
实验室的结论质量取决于真实样本。如果你的团队正在被这些问题消耗，欢迎提供数据与场景。