📋 Test Strategy Report
Release: v1.0.0 |
Status: draft |
Generated: 2026-05-26 23:22
Scope
In Scope
- testboat init：workspace 初始化（已完成）
- testboat enable：agent rules + skill 文件生成（已完成）
- testboat strategy create/validate：strategy 模板 + schema 校验（已完成）
- testboat strategy status：状态流转 draft→in-review→approved
- AI skill：根据 fcontext 需求上下文更新 strategy.yaml
- testboat case：test case CRUD + 状态机（add/list/show/status）
- testboat exec：执行结果手动记录（record/list）
- testboat bug：bug 管理（add/list），关联 test case
- testboat report：AI 生成 sprint report + closure report HTML
Out of Scope
- Playwright / Maestro / JMeter / ZAP 自动化脚手架
- floop review 分发集成
- CI/CD exec import 接口
- 性能测试 / DAST 安全测试
Risk Matrix
| Area | Likelihood | Impact | Approach |
|---|
| test case 状态机 |
medium |
high |
CLI 强制校验非法状态转换，unit test 覆盖所有合法/非法路径 |
| strategy YAML schema 兼容性 |
medium |
high |
Pydantic strict validation，validate 命令在每个关键步骤前执行 |
| report HTML 生成质量 |
high |
medium |
AI 生成 + 人工 review，定义 HTML 模板骨架保证结构一致 |
| testboat exec 数据与 case 关联准确性 |
low |
high |
exec record 时强制校验 TC ID 存在，关联写入 execution YAML |
Entry / Exit Criteria
Entry Criteria
- STORY 需求记录到 fcontext req，status = draft
- 实现完成，代码提交
- pytest --cov-fail-under=100 通过
Exit Criteria
- 所有 STORY-005 ~ STORY-010 status = done
- testboat strategy validate 通过
- testboat report sprint 能生成完整 HTML，内容覆盖 case/exec/bug 数据
- 无已知 P0/P1 bug
Metrics & Severity
| Level | Description | Acceptable Open |
|---|
| P0 |
CLI 崩溃 / 数据丢失 / strategy.yaml 写入损坏 | 0 |
| P1 |
核心命令功能错误（create/validate/case/exec/report 输出错误） | 0 |
| P2 |
输出格式不符合预期，但数据正确 | 3 |
| P3 |
提示语不清晰 / 边界提示缺失 | 10 |