QA × AI AGENT SKILLS

让 AI 写的测试用例
经得起一把尺子

QASkillKit · QA 全流程 AI 技能工具箱

11 个 Agent Skill 覆盖 原型图理解 → 用例生成 → 一致性核查 → UI 自动化 → 验收报告; 核心是一台 零 key 可跑的测试用例评测器:8 条规则断言 + 4 维 AI 裁判 + 3 道质量门禁, 用 9 份故意写坏的用例证明自己没有放水,用 4 批校准记录证明分数可以追溯。

▶ 30 秒试跑(零 key) 查看源码与评测集 ↗ Python 3 + pyyaml;不需要 TAPD、不需要模型 API key。
11Agent Skills
8规则断言 · 零 key
4维 AI 裁判 · 已校准
193评测器自测
12评测用例 · 9 负向
3层质量门禁
一句话

市面上多数工具在比「AI 能不能写用例」,这个项目在回答「你怎么知道它写得好」。 前者是一次演示,后者是一条可以回归、可以交接、可以量化改进口径的流水线。

  • 9 份负向对照全部被规则通道检出,其中 8 份只坏一处——每条规则都有一发「单规则隔离弹」
  • 改 prompt / 改规则先被 193 条自测和 pre-commit 挡住,不靠人肉 review 兜底
  • 12 条 badcase 全部闭合,每条都写清根因、修法、验收标准与实测证据
01 / WHAT & WHY

QA 的痛,不是写不出用例,是写出来没人能证明它好

AI 能在 30 秒里生成一份格式漂亮的用例,也能在同样的 30 秒里编出不存在的前置条件、漏掉一半变更点、写出跳转引用。 没有评测,这些错误只能靠人逐条读——于是「AI 提效」在评审环节又被还了回去。

①

幻觉无法察觉

编造的账号、密码、内网地址混在格式完美的表格里;人眼第一遍几乎看不出来,上线后才暴露。

②

改动无法回归

换了 prompt、改了模型、调了规则,生成质量是变好还是变坏?没有基准集和 diff,只能靠感觉。

③

质量无法交接

「这份用例不错」是个人判断。没有可执行的验收标准,换一个人、换一个模型,结论就变了。

答把评测当成一等公民:三个可验证的答案

规则通道 · 确定性

列结构、优先级枚举、追溯引用、跳转引用、预期结果非空、凭证泄漏、变更点章节、变更点覆盖——8 条断言,零 key、毫秒级、结果可复现。

裁判通道 · 语义

规则判不了的四个维度交给 LLM 裁判:覆盖度、相关性、一致性、幻觉。分数有上限映射、理由要能对上事实。

校准通道 · 可信

裁判与规则的矛盾率、裁判自身跑 3 轮的稳定性、裁判与人工的一致率——三层体检,缺一层都不能说「裁判可信」。

02 / SKILLS

11 个 Skill,覆盖一条完整的 QA 流水线

每个工作流一个 SKILL.md:步骤、坑点、口径全部显式化,AI 严格照此执行;跨 skill 的规范沉淀在 team-memory,私有配置集中在 gitignore 隔离的 config/。

1需求进来
OCR三轨协同识图Windows OCR 覆盖率 + OpenOCR 精读 + VLM 结构,交叉验证原型图
SETUP初始化向导自动探测 TAPD 项目、数据库、知识库,生成私有配置
GENERATE测试用例设计TAPD 需求 + 真实库数据 + 业务知识 + 原型图,产出可追溯用例
REVIEW用例一致性核查用例与原型逐条比对,有据直接改,存疑出待确认报告
2执行与产出
EXECUTEUI 自动化测试browser-use 实测网页端用例,智能分组,结果回填用例文件
DEFECT缺陷报告按团队模板生成:三级标题、复现步骤、预期/实际结果
REPORT迭代验收报告需求/缺陷统计、未按时提测清单、开发缺陷分布
REPORT周报与工时评估从 TAPD 拉取迭代动态,按指南生成结构化周报 / 测试工时
3质量把关
EVALUATE用例评测器双通道打分、负向对照自测、回归 diff、裁判稳定性
CALIBRATE裁判校准4 批记录:人工逐项、AI 复核 + 人工抽检、授权口径代批
BADCASESbadcase 闭环12 条全部闭合:根因、修法、验收、实测证据,人工签字才标 fixed
FLOWCHART流程图转 Mermaid双轨识别流程图图片,输出标准 Mermaid 代码
03 / EVALUATOR

双通道评测:能机械判定的交给规则,判不了的才交给模型

这是整个项目的地基,也是最容易被做错的地方——很多「LLM 评测」让裁判从头判到尾,等于用一个不可靠的模型去评价另一个不可靠的模型。这里的顺序是:先由确定性规则把事实钉死,再让裁判只做语义判断,并且不允许它越权。

R
规则通道8 ASSERTIONS · 零 KEY
毫秒级 · 可复现
format_columns 列数与表头 priority_valid 优先级枚举 traceability 关联引用 no_jump_refs 跨用例跳转 expected_non_empty 预期结果 no_secrets 虚构凭证 change_section 变更点章节 coverage 变更点覆盖
规则只看机械事实,不做语义评价;命中即失败,退出码可直接进 CI。
J
AI 裁判通道4 DIMENSIONS · 1–5
glm-4-flash
coverage 场景充分度与粒度 relevance 与需求的相关性 consistency 前后一致与可独立执行 hallucination 分越高越干净
裁判 prompt 里注入机械事实(规则结论、变更点清单、变更点→用例名映射),并规定分数上限:规则说违规,裁判不得给高分。
门禁只信规则通道 裁判分数用于诊断与趋势,不参与退出码;负向对照的判别力由规则的 detected / MISSED 决定。 exit code = 规则
三道门禁 1pre-commit提交前跑规则 + 全仓结构扫描 2GitHub Actions零 key 规则通道,每次 push 必跑 3本地 Judge带 key 的语义评测,人工触发
评测器工作流:输入用例文件 → 规则通道与裁判通道并行 → 判别力检查、一致性核对、稳定性度量 → 三道质量门禁
评测器全景:同一份产出同时过规则与裁判,再用判别力 / 一致性 / 稳定性三个子指标体检评测器自己。
04 / EVIDENCE

不只看分数,还看分数是怎么来的

下面每个数字都能在仓库里找到对应报告:矛盾率来自 --judge-agreement 对存档报告的离线重算,稳定性来自 --runs 3 的 36 次真实裁判调用,校准记录在 calibration.yaml。

评测集版本裁判-规则矛盾率这一轮发生了什么
v436% / 54%(A / B)裁判对格式与覆盖退化几乎无感:B 变体覆盖 0/5 仍给四维全 5.0
v57% / 4%注入变更点清单与规则结论;剩余矛盾集中在「虚构凭证却给 5 分」
v67%hallucination 绑定 no_secrets 上限;那条治好了,又冒出「格式问题不算不一致」
v70%(0/14)明禁两种逃逸措辞,矛盾率首次归零,正样本未被虚降
v80% → 7% → 14%把例外改成判定动作 + 注入机械事实:反向可疑归零,但上限遵守退化(bc-0012)
自己拆穿自己的 0%。 v7 拿到 0/14 矛盾率后,团队没有把它当成「裁判可信」写进宣传,而是追问:是真守规矩,还是指标被调松? 继续跑 v8 发现——反向可疑确实归零了,但代价是裁判「判对的时候也常编理由」:19 条用例行全 9 列,它却写「列数与表头存在轻微差异」。 于是有了 bc-0010 / bc-0011 / bc-0012,下一步改成代码侧 score = min(score, cap) 硬截断,而不是再往 prompt 里加一段话。

badcase 闭环 12 条 / 9 fixed + 3 confirmed

12累计登记
9已修复 fixed
3根因确认、待修
0open

每条必须写清:现象、根因分类(prompt / model / tool / evalset / evaluator)、修法、验收标准、实测证据;根因与「已修复」需要人工签字,AI 起草不算数。

裁判校准 4 批,口径分开记

8/8cal-0001 人工逐项
17/21cal-0002 AI 复核 + 人工抽检
12/14cal-0003 人工逐项
171/212cal-0004 授权代批

严格级(理由也必须站得住)分别是:cal-0003 为 8/14、cal-0004 为 146/212。四批口径不同,不合并成一个「人工一致率」——代批不是人工阅读。

零 key 终端输出:9 份负向对照全部检出,3 份好用例通过
零 key 真实终端输出:3 份好用例 pass,9 份负向对照全部 detected,报告落盘到 evals/reports/。
05 / ENGINEERING

六个能拿去做 code review 的细节

这些不是「功能列表」,而是防止评测器变成橡皮图章的具体机制——每一条都有对应的测试或真实报告锚点。

01 · DISCRIMINATION

负向对照是单规则隔离的

9 份坏用例里 8 份只坏一处,每条规则各有一发「单规则隔离弹」;漏检任意一条,自测直接红。

02 · AGREEMENT

裁判-规则一致率

按上限映射交叉核对裁判四维分数与规则结论,输出矛盾率与逐条明细;裁判未跑不进分母,不画 0%。

03 · STABILITY

--runs N 稳定性

同一份产出评 3 轮:pass@3、各维极差、结论翻转清单。单轮失败如实记,不补分;不稳定维度交人工。

04 · REGRESSION

--diff 回归对比

两份报告逐用例逐规则比较变好/变坏;负向对照的裁判分数变化只进「说明」,不污染真正的退步计数。

05 · SELF-TEST

评测器也要被评测

193 条 pytest 锁住规则边界、YAML 解析、扫描逻辑、真实报告锚点;改口径必须同时改测试。

06 · PROVENANCE

人工确认制

badcase 标 fixed、校准写一致率,都必须有人签字;AI 只能起草。哪批是人工、哪批是代批,字段里写清楚。

带 key 的裁判打分卡:四个维度逐条给分并附理由
裁判打分卡:四维分数、逐条理由、与规则通道的交叉核对结果。
06 / LIMITS

这个项目不 claim 什么

把边界写清楚,比把亮点写大更有用——尤其是当评委问「你怎么知道你测得准」的时候。

四条主动声明的边界

  • 矛盾率 0% ≠ 裁判可信。 v7 归零后继续追问,发现 v8 的「反向可疑归零」含着放宽到不判错的成分,判对时也常编理由。
  • 负向对照的裁判分数不承担判别力。 判别力看规则通道的 detected / MISSED;裁判分数只用于诊断趋势。
  • 校准口径不能混算。 人工逐项、AI 复核 + 人工抽检、授权代批是三种不同强度的证据,混在一起就是虚假宣传。
  • 小模型裁判不可靠是设计前提。 所以门禁只信规则通道;裁判要动,必须先过三件套:升版本 + 重跑基线 + 重新校准。

已知待办(写进仓库,不藏)

  • bc-0012:上限元规则仍会被小模型绕开,候选修法改为代码侧 score = min(score, cap) 硬截断,等下一次带 key 实测。
  • bc-0010 / bc-0011:裁判「先举证再判缺」仍未稳定执行,状态保持 confirmed,不写 fixed。
  • 评测集只有 12 条,样本量小;结论只代表当前批次,扩充后需要继续抽样校准。
  • 完整 QA 流程依赖 TAPD 与 MCP 工具链;零 key 能跑的只有评测器那部分。
07 / GET STARTED

30 秒看到效果,30 分钟接进自己的流程

轨道 A 只需要 Python:克隆仓库、装 pyyaml、跑评测器。想看 AI 现场生成现场评,再加一个模型 key 跑 --live。

terminal
# 轨道 A:零 key 试用例评测
git clone https://github.com/WL2O2O/QASkillKit.git
cd QASkillKit
pip install pyyaml
python3 evals/evaluate.py

# 你会看到:3 份好用例 pass,9 份负向对照全部 detected
# 报告写入 evals/reports/

# 想让 AI 当场写、当场评:
export GLM_API_KEY=你的key
python3 evals/evaluate.py --live
A
只想试试评测器

只要 Python 3 + pyyaml;无 TAPD、无 key、无 IDE。适合第一次接触的人先看判别力。

B
完整 QA 工作流

Qoder(或兼容 AGENTS.md 的 IDE)+ TAPD MCP + 可选 dbx / browser-use / 知识库;跑 /setup 生成私有配置后直接用。

C
接进团队 CI

pre-commit 钩子 + GitHub Actions 模板已就位;规则通道零 key,可以在每次 PR 上跑,不产生模型费用。

仓库:github.com/WL2O2O/QASkillKit · MIT License · 全部私有配置 gitignore 隔离,仓库零敏感信息。

架构:Agent 读取 Skills、team-memory、私有配置三层沉淀,调用 MCP 工具链;右侧同一评测器把守三道质量门禁
架构:三层沉淀(Skill / 团队记忆 / 私有配置)+ MCP 工具链;同一台评测器把守三道质量门禁。
08 / 2 MINUTES

如果你只有两分钟

四个常见追问的短答,细节都能在仓库里找到对应文件。

Q:这不就是让 AI 写用例吗?
A:写用例只是前半段。后半段是评测:12 份评测集、8 条断言、4 维裁判、3 道门禁,以及 12 条全部闭合的 badcase。前者谁都能演示,后者要能证明自己没放水。
Q:你怎么验证这个评测器是准的?
A:三个方向——判别力(9 份负向对照全检出,8 份单规则隔离)、裁判-规则一致率(逐条矛盾可查)、裁判-人工一致率(4 批校准,口径分开记)。评测器本身还有 193 条自测。
Q:遇到过最有价值的问题是什么?
A:把 0% 矛盾率拆穿。 v7 做到 0/14 后,团队没有拿去宣传,而是怀疑指标被调松;继续跑 v8 发现裁判「判对时也编理由」,于是把修法从改 prompt 转向代码侧硬截断。这个过程记录在 bc-0010~0012。
Q:如果要接进我们团队,成本多大?
A:零 key 的规则通道即插即用,接 pre-commit 或 CI 只有几行;完整工作流需要 TAPD 与 MCP 工具链,按 /setup 走一遍即可,私有信息只落在 gitignore 隔离的配置里。