qa-expert

QA エキスパート

Google Testing Standards の実証済みの手法と OWASP のセキュリティに関するベストプラクティスを活用し、あらゆるソフトウェアプロジェクトに世界水準の QA テストプロセスを確立します。

このスキルを使用するタイミング

次のような場合に、このスキルを使用してください。

• 新規または既存のプロジェクトに QA インフラストラクチャをセットアップする
• 標準化されたテストケースを作成する（AAA パターンに準拠）
• 進捗を追跡しながら包括的なテスト計画を実行する
• セキュリティテストを実装する（OWASP Top 10）
• 適切な重大度分類（P0〜P4）でバグを報告する
• QA レポートを作成する（日次サマリー、週次進捗）
• 品質指標を計算する（合格率、カバレッジ、ゲート）
• サードパーティチームへの引き継ぎに向けて QA ドキュメントを準備する
• LLM 主導の自律的なテスト実行を可能にする

クイックスタート

ワンコマンドで初期化：

python scripts/init_qa_project.py <project-name> [output-directory]

作成されるもの：

• ディレクトリ構造（tests/docs/、tests/e2e/、tests/fixtures/）
• 追跡用 CSV（TEST-EXECUTION-TRACKING.csv、BUG-TRACKING-TEMPLATE.csv）
• ドキュメントテンプレート（BASELINE-METRICS.md、WEEKLY-PROGRESS-REPORT.md）
• 自律実行用のマスター QA プロンプト
• クイックスタートガイドをすべて記載した README

自律実行の場合（推奨）：references/master_qa_prompt.md を参照してください。速度を大幅に向上させる単一のコピー＆ペーストコマンドです（事例値：手動比約100倍）。

主な機能

1. QA プロジェクトの初期化

すべてのテンプレートを含む QA インフラストラクチャ一式を初期化します。

python scripts/init_qa_project.py <project-name> [output-directory]

ディレクトリ構造、追跡用 CSV、ドキュメントテンプレート、自律実行用のマスタープロンプトを作成します。

使用する場面：QA をゼロから開始する場合や、体系化された QA プロセスへ移行する場合。

2. テストケースの作成

AAA パターン（Arrange-Act-Assert）に従い、標準化された再現可能なテストケースを作成します。

1. テンプレートを読みます：assets/templates/TEST-CASE-TEMPLATE.md
2. 構成に従います：前提条件（Arrange）→ テスト手順（Act）→ 期待結果（Assert）
3. 優先度を割り当てます：P0（ブロッカー）→ P4（低）
4. エッジケースと潜在的なバグを含めます

テストケースの形式：TC-[CATEGORY]-[NUMBER]（例：TC-CLI-001、TC-WEB-042、TC-SEC-007）

参考資料：AAA パターンのガイドラインとカバレッジのしきい値については、references/google_testing_standards.md を参照してください。

3. テストの実行と追跡

グラウンドトゥルースの原則（重要）：

• テストケースのドキュメント（例：02-CLI-TEST-CASES.md）＝テスト手順の信頼できる情報源
• 追跡用 CSV＝実行状況のみを記録（テスト仕様の確認に CSV を使用しないでください）
• ドキュメントと CSV の同期に関する問題を防ぐ方法については、references/ground_truth_principle.md を参照してください

手動実行：

1. カテゴリ別ドキュメントからテストケースを読みます（例：02-CLI-TEST-CASES.md）← 必ずここから開始してください
2. 記載されているテスト手順を正確に実行します
3. 各テストの直後に TEST-EXECUTION-TRACKING.csv を更新します（まとめて更新しないでください）
4. テストが失敗した場合は BUG-TRACKING-TEMPLATE.csv にバグを記録します

自律実行（推奨）：

1. references/master_qa_prompt.md からマスタープロンプトをコピーします
2. LLM のセッションに貼り付けます
3. LLM がテストを自動実行し、追跡し、バグを記録し、レポートを自動生成します

革新的な点：手動より大幅に高速（事例値：約100倍）で、追跡時の人為的ミスがなく、自動再開も可能です。

4. バグ報告

適切な重大度分類でバグを報告します。

必須フィールド：

• Bug ID：連番（BUG-001、BUG-002、…）
• Severity：P0（24時間以内に修正）→ P4（任意）
• 再現手順：番号付きの具体的な手順
• 環境：OS、バージョン、設定

重大度の分類：

• P0（ブロッカー）：セキュリティ脆弱性、主要機能の停止、データ損失
• P1（重大）：回避策はあるが、主要機能が動作しない
• P2（高）：軽微な機能の問題、エッジケース
• P3（中）：外観上の問題
• P4（低）：ドキュメントの誤字

参考資料：例を含む完全なテンプレートについては、BUG-TRACKING-TEMPLATE.csv を参照してください。

5. 品質メトリクスの算出

包括的な QA メトリクスと品質ゲートのステータスを算出します。

python scripts/calculate_metrics.py <path/to/TEST-EXECUTION-TRACKING.csv>

メトリクスダッシュボードの内容：

• テスト実行の進捗（X/Y 件のテスト、Z% 完了）
• 合格率（合格数／実行数の割合）
• バグ分析（固有のバグ数、P0/P1/P2 の内訳）
• 品質ゲートのステータス（各ゲートの ✅/❌）

品質ゲート（リリースにはすべてのゲートを通過する必要があります）：

ゲート	目標	ブロッカー
テスト実行	100%	はい
合格率	≥80%	はい
P0 バグ	0	はい
P1 バグ	≤5	はい
コードカバレッジ	≥75%	はい
セキュリティ	OWASP 90%	はい

6. 進捗報告

関係者向けの QA レポートを作成します。

日次サマリー（終業時）：

• 実行したテスト、合格率、起票したバグ
• ブロッカー（または「なし」）
• 翌日の計画

週次レポート（毎週金曜日）：

• テンプレート WEEKLY-PROGRESS-REPORT.md を使用します（初期化スクリプトで作成されます）
• ベースライン BASELINE-METRICS.md と比較します
• 品質ゲートと傾向を評価します

参考：すぐに使えるレポート作成用プロンプト 30 件以上については、references/llm_prompts_library.md を参照してください。

7. セキュリティテスト（OWASP）

OWASP Top 10 のセキュリティテストを実施します。

カバレッジ目標：

1. A01：アクセス制御の不備 - RLS の回避、権限昇格
2. A02：暗号化の失敗 - トークンの暗号化、パスワードのハッシュ化
3. A03：インジェクション - SQL インジェクション、XSS、コマンドインジェクション
4. A04：安全でない設計 - レート制限、異常検知
5. A05：セキュリティ設定の不備 - 詳細すぎるエラー、デフォルト認証情報
6. A07：認証の失敗 - セッションハイジャック、CSRF
7. その他：データ整合性、ロギング、SSRF

目標：OWASP カバレッジ 90%（10 件中 9 件の脅威を緩和）。

各セキュリティテストでは AAA パターンに従い、具体的な攻撃ベクトルを文書化します。

1 日目のオンボーディング

プロジェクトに新たに参加する QA エンジニアは、5 時間のオンボーディングガイドを完了してください。

参照：references/day1_onboarding.md

スケジュール：

• 1 時間目：環境のセットアップ（データベース、開発サーバー、依存関係）
• 2 時間目：ドキュメントの確認（テスト戦略、品質ゲート）
• 3 時間目：テストデータのセットアップ（ユーザー、CLI、DevTools）
• 4 時間目：最初のテストケースを実行
• 5 時間目：チームへのオンボーディングと第 1 週の計画

チェックポイント：1 日目の終わりまでに環境を稼働させ、最初のテストを実行し、第 1 週に取り組める状態にします。

自律実行（⭐ 推奨）

単一のマスタープロンプトで、LLM 主導の自律 QA テストを有効にします。

参照：references/master_qa_prompt.md

機能：

• 完了済みの最後のテストから自動再開（追跡用 CSV を読み込みます）
• テストケースを自動実行（第 1～5 週の進行に対応）
• 結果を自動追跡（各テスト後に CSV を更新します）
• バグを自動起票（失敗に対するバグレポートを作成します）
• レポートを自動生成（日次サマリー、週次レポート）
• P0 バグを自動エスカレーション（テストを停止し、関係者に通知します）

メリット：

• 手動より大幅に迅速な実行（事例値で約 100 倍）
• 追跡における人的ミスをゼロに
• 一貫性のあるバグの文書化
• 進捗をすぐに確認可能

使用方法：マスタープロンプトをコピーして LLM に貼り付け、計画されたテスト期間中（事例では 5 週間）自律的に実行させます。

プロジェクトに合わせた調整

小規模プロジェクト（50 件のテスト）

• 期間：2 週間
• カテゴリ：2～3 件（例：フロントエンド、バックエンド）
• 1 日あたり：5～7 件のテスト
• レポート：日次サマリーのみ

中規模プロジェクト（200 件のテスト）

• 期間：4 週間
• カテゴリ：4～5 件（CLI、Web、API、DB、セキュリティ）
• 1 日あたり：10～12 件のテスト
• レポート：日次＋週次

大規模プロジェクト（500 件以上のテスト）

• 期間：8～10 週間
• カテゴリ：6～8 件（複数のコンポーネント）
• 1 日あたり：10～15 件のテスト
• レポート：日次＋週次＋隔週の関係者向けレポート

参考ドキュメント

同梱のリファレンスから詳細なガイドラインを確認できます。

• references/day1_onboarding.md - 新しい QA エンジニア向けの5時間のオンボーディングガイド
• references/master_qa_prompt.md - 自律的な LLM 実行のための単一コマンド
• references/llm_prompts_library.md - 特定の QA タスク向けのすぐに使える30以上のプロンプト
• references/google_testing_standards.md - AAA パターン、カバレッジのしきい値、フェイルファスト検証
• references/ground_truth_principle.md - ドキュメントと CSV の同期問題の防止（テストスイートの完全性に不可欠）

アセットとテンプレート

テストケースのテンプレートとバグレポートの形式：

• assets/templates/TEST-CASE-TEMPLATE.md - CLI とセキュリティの例を含む完全なテンプレート

スクリプト

QA インフラストラクチャ向けの自動化スクリプト：

• scripts/init_qa_project.py - QA インフラストラクチャを初期化します（1つのコマンドでセットアップ）
• scripts/calculate_metrics.py - 品質メトリクスのダッシュボードを生成します

よくあるパターン

パターン 1：QA を新規に開始する

1. python scripts/init_qa_project.py my-app ./
2. Fill in BASELINE-METRICS.md (document current state)
3. Write test cases using assets/templates/TEST-CASE-TEMPLATE.md
4. Copy master prompt from references/master_qa_prompt.md
5. Paste to LLM → autonomous execution begins

パターン 2：LLM 主導のテスト（自律型）

1. Read references/master_qa_prompt.md
2. Copy the single master prompt (one paragraph)
3. Paste to LLM conversation
4. LLM executes the full test-case suite over the planned period (事例: 342 cases / 5 週間)
5. LLM updates tracking CSVs automatically
6. LLM generates weekly reports automatically

パターン 3：セキュリティテストの追加

1. Read references/google_testing_standards.md (OWASP section)
2. Write TC-SEC-XXX test cases for each OWASP threat
3. Target 90% coverage (9/10 threats)
4. Document mitigations in test cases

パターン 4：サードパーティ QA への引き継ぎ

1. Ensure all templates populated
2. Verify BASELINE-METRICS.md complete
3. Package tests/docs/ folder
4. Include references/master_qa_prompt.md for autonomous execution
5. QA team can start immediately (Day 1 onboarding → planned test period)

成功基準

このスキルが有効なのは、次の条件を満たす場合です。

• ✅ テストケースをあらゆるエンジニアが再現できる
• ✅ 品質ゲートが客観的に測定されている
• ✅ バグが再現手順とともに完全に文書化されている
• ✅ 進捗をリアルタイムで確認できる（CSV で追跡）
• ✅ 自律的な実行が可能になっている（LLM が計画全体を実行できる）
• ✅ サードパーティの QA チームがすぐにテストを開始できる