qa-expert

QA エキスパート

Google のテスト標準と OWASP のセキュリティベストプラクティスに基づく、実証済みの手法を用いて、あらゆるソフトウェアプロジェクトに世界水準の QA テストプロセスを確立します。

このスキルを使うタイミング

次のような場合に、このスキルを使用します。

• 新規または既存のプロジェクトに QA インフラストラクチャを設定するとき
• 標準化されたテストケースを作成するとき（AAA パターンへの準拠）
• 進捗を追跡しながら包括的なテスト計画を実行するとき
• セキュリティテスト（OWASP Top 10）を実装するとき
• 適切な重大度分類（P0〜P4）でバグを報告するとき
• QA レポート（日次サマリー、週次進捗）を作成するとき
• 品質指標（合格率、カバレッジ、ゲート）を算出するとき
• サードパーティチームへの引き継ぎに向けて QA ドキュメントを準備するとき
• LLM 主導の自律的なテスト実行を可能にするとき

クイックスタート

1 つのコマンドで初期化：

python scripts/init_qa_project.py <project-name> [output-directory]

作成されるもの：

• ディレクトリ構造（tests/docs/、tests/e2e/、tests/fixtures/）
• 追跡用 CSV（TEST-EXECUTION-TRACKING.csv、BUG-TRACKING-TEMPLATE.csv）
• ドキュメントテンプレート（BASELINE-METRICS.md、WEEKLY-PROGRESS-REPORT.md）
• 自律実行用のマスター QA プロンプト
• クイックスタートガイドを完備した README

自律実行の場合（推奨）：references/master_qa_prompt.md を参照してください。100 倍高速化を実現する、コピーして貼り付けるだけの単一コマンドです。

主な機能

1. QA プロジェクトの初期化

すべてのテンプレートを含む QA インフラストラクチャ一式を初期化します。

python scripts/init_qa_project.py <project-name> [output-directory]

ディレクトリ構造、追跡用 CSV、ドキュメントテンプレート、自律実行用のマスタープロンプトを作成します。

用途：QA を一から開始するとき、または構造化された QA プロセスへ移行するとき。

2. テストケースの作成

AAA パターン（Arrange-Act-Assert）に従って、標準化され、再現可能なテストケースを作成します。

1. テンプレートを読みます：assets/templates/TEST-CASE-TEMPLATE.md
2. 構成に従います：前提条件（Arrange）→ テスト手順（Act）→ 期待される結果（Assert）
3. 優先度を割り当てます：P0（ブロッカー）→ P4（低）
4. エッジケースと潜在的なバグを含めます

テストケースの形式：TC-[CATEGORY]-[NUMBER]（例：TC-CLI-001、TC-WEB-042、TC-SEC-007）

参考資料：AAA パターンのガイドラインとカバレッジのしきい値について詳しくは、references/google_testing_standards.md を参照してください。

3. テスト実行と追跡

グラウンドトゥルースの原則（重要）：

• テストケースのドキュメント（例：02-CLI-TEST-CASES.md）＝テスト手順の正式な情報源
• 追跡用 CSV＝実行状況のみ（テスト仕様には CSV を信用しないでください）
• ドキュメントと CSV の同期に関する問題を防ぐ方法については、references/ground_truth_principle.md を参照してください

手動実行：

1. カテゴリ別ドキュメントからテストケースを読みます（例：02-CLI-TEST-CASES.md）← 必ずここから開始します
2. 記載されたテスト手順を正確に実行します
3. 各テストの直後に TEST-EXECUTION-TRACKING.csv をすぐに更新します（まとめて更新しないでください）
4. テストに失敗した場合は、BUG-TRACKING-TEMPLATE.csv にバグを記録します

自律実行（推奨）：

1. references/master_qa_prompt.md からマスタープロンプトをコピーします
2. LLM セッションに貼り付けます
3. LLM が実行、追跡、バグの報告、レポートの作成を自動で行います

革新点：手動実行と比べて 100 倍高速化し、追跡時の人的ミスをゼロにし、自動再開機能を実現します。

4. バグ報告

適切な重大度分類でバグを報告します。

必須項目：

• バグ ID：連番（BUG-001、BUG-002、…）
• 重大度：P0（24 時間以内に修正）→ P4（任意）
• 再現手順：番号付きで具体的に記載
• 環境：OS、バージョン、設定

重大度分類：

• P0（ブロッカー）：セキュリティ脆弱性、主要機能の障害、データ損失
• P1（重大）：回避策はあるものの、主要機能が動作しない
• P2（高）：軽微な機能の問題、エッジケース
• P3（中）：見た目に関する問題
• P4（低）：ドキュメントの誤字

参考資料：例を含む完全なテンプレートについては、BUG-TRACKING-TEMPLATE.csv を参照してください。

5. 品質メトリクスの計算

包括的な QA メトリクスと品質ゲートのステータスを計算します。

python scripts/calculate_metrics.py <path/to/TEST-EXECUTION-TRACKING.csv>

メトリクスダッシュボードの内容：

• テスト実行の進捗（X/Y 件のテスト、Z% 完了）
• 合格率（合格数／実行数 %）
• バグ分析（重複を除いたバグ数、P0/P1/P2 の内訳）
• 品質ゲートのステータス（各ゲートの ✅/❌）

品質ゲート（リリースにはすべての合格が必須です）：

ゲート	目標	ブロッカー
テスト実行	100%	はい
合格率	≥80%	はい
P0 バグ	0	はい
P1 バグ	≤5	はい
コードカバレッジ	≥80%	はい
セキュリティ	OWASP 90%	はい

6. 進捗レポート

関係者向けの QA レポートを作成します。

日次サマリー（1 日の終わり）：

• 実行したテスト、合格率、報告したバグ
• ブロッカー（または「なし」）
• 翌日の計画

週次レポート（毎週金曜日）：

• テンプレート WEEKLY-PROGRESS-REPORT.md を使用します（init スクリプトで作成済み）
• ベースライン BASELINE-METRICS.md と比較します
• 品質ゲートと傾向を評価します

参考：すぐに使える 30 件以上のレポート用プロンプトについては、references/llm_prompts_library.md を参照してください。

7. セキュリティテスト（OWASP）

OWASP Top 10 のセキュリティテストを実施します。

カバレッジ目標：

1. A01：アクセス制御の不備 - RLS のバイパス、権限昇格
2. A02：暗号化の不備 - トークンの暗号化、パスワードのハッシュ化
3. A03：インジェクション - SQL インジェクション、XSS、コマンドインジェクション
4. A04：安全でない設計 - レート制限、異常検知
5. A05：セキュリティ設定の不備 - 詳細すぎるエラー、デフォルトの認証情報
6. A07：認証の不備 - セッションハイジャック、CSRF
7. その他：データ完全性、ロギング、SSRF

目標：OWASP カバレッジ 90%（10 件中 9 件の脅威を軽減）。

各セキュリティテストは AAA パターンに従い、具体的な攻撃ベクトルを文書化します。

1 日目のオンボーディング

プロジェクトに新しく参加する QA エンジニアは、5 時間のオンボーディングガイドを完了してください。

読む：references/day1_onboarding.md

スケジュール：

• 1 時間目：環境のセットアップ（データベース、開発サーバー、依存関係）
• 2 時間目：ドキュメントの確認（テスト戦略、品質ゲート）
• 3 時間目：テストデータのセットアップ（ユーザー、CLI、DevTools）
• 4 時間目：最初のテストケースを実行
• 5 時間目：チームへのオンボーディングと第 1 週の計画

チェックポイント：1 日目の終わりまでに環境を稼働させ、最初のテストを実行し、第 1 週を開始できる状態にします。

自律実行（⭐ 推奨）

単一のマスタープロンプトで、LLM による自律型 QA テストを有効にします。

読む：references/master_qa_prompt.md

機能：

• 最後に完了したテストから自動再開（トラッキング CSV を読み込み）
• テストケースを自動実行（第 1～5 週の進行）
• 結果を自動追跡（各テスト後に CSV を更新）
• バグを自動登録（失敗時にバグレポートを作成）
• レポートを自動生成（日次サマリー、週次レポート）
• P0 バグを自動エスカレーション（テストを停止し、関係者に通知）

メリット：

• 手動実行と比べて 100 倍高速
• 追跡における人的ミスをゼロに
• 一貫性のあるバグ記録
• 進捗を即座に把握可能

使い方：マスタープロンプトをコピーして LLM に貼り付け、自律的に 5 週間実行させます。

プロジェクトに合わせた調整

小規模プロジェクト（テスト 50 件）

• 期間：2 週間
• カテゴリー：2～3 個（例：フロントエンド、バックエンド）
• 1 日あたり：5～7 件のテスト
• レポート：日次サマリーのみ

中規模プロジェクト（テスト 200 件）

• 期間：4 週間
• カテゴリー：4～5 個（CLI、Web、API、DB、セキュリティ）
• 1 日あたり：10～12 件のテスト
• レポート：日次＋週次

大規模プロジェクト（テスト 500 件以上）

• 期間：8～10 週間
• カテゴリー：6～8 個（複数のコンポーネント）
• 1 日あたり：10～15 件のテスト
• レポート：日次＋週次＋隔週の関係者向けレポート

リファレンスドキュメント

同梱のリファレンスから詳細なガイドラインにアクセスできます。

• references/day1_onboarding.md - 新任QAエンジニア向けの5時間オンボーディングガイド
• references/master_qa_prompt.md - LLMによる自律実行のための単一コマンド（100倍の高速化）
• references/llm_prompts_library.md - QAタスクごとにすぐ使える30以上のプロンプト
• references/google_testing_standards.md - AAAパターン、カバレッジのしきい値、フェイルファスト検証
• references/ground_truth_principle.md - ドキュメントとCSVの同期に関する問題を防止（テストスイートの完全性にとって重要）

アセットとテンプレート

テストケースのテンプレートとバグレポートの形式：

• assets/templates/TEST-CASE-TEMPLATE.md - CLIとセキュリティの例を含む完全なテンプレート

スクリプト

QA インフラストラクチャの自動化スクリプト：

• scripts/init_qa_project.py - QA インフラストラクチャを初期化（ワンコマンドでセットアップ）
• scripts/calculate_metrics.py - 品質メトリクスのダッシュボードを生成

よく使われるパターン

パターン 1：QA を新規に開始

1. python scripts/init_qa_project.py my-app ./
2. Fill in BASELINE-METRICS.md (document current state)
3. Write test cases using assets/templates/TEST-CASE-TEMPLATE.md
4. Copy master prompt from references/master_qa_prompt.md
5. Paste to LLM → autonomous execution begins

パターン 2：LLM 主導のテスト（自律型）

1. Read references/master_qa_prompt.md
2. Copy the single master prompt (one paragraph)
3. Paste to LLM conversation
4. LLM executes all 342 test cases over 5 weeks
5. LLM updates tracking CSVs automatically
6. LLM generates weekly reports automatically

パターン 3：セキュリティテストを追加

1. Read references/google_testing_standards.md (OWASP section)
2. Write TC-SEC-XXX test cases for each OWASP threat
3. Target 90% coverage (9/10 threats)
4. Document mitigations in test cases

パターン 4：サードパーティQAへの引き継ぎ

1. Ensure all templates populated
2. Verify BASELINE-METRICS.md complete
3. Package tests/docs/ folder
4. Include references/master_qa_prompt.md for autonomous execution
5. QA team can start immediately (Day 1 onboarding → 5 weeks testing)

成功基準

次の条件を満たす場合、このスキルは効果的です。

• ✅ どのエンジニアでもテストケースを再現できる
• ✅ 品質ゲートを客観的に測定できる
• ✅ バグが再現手順とともに完全に文書化されている
• ✅ 進捗をリアルタイムで確認できる（CSV で追跡）
• ✅ 自律実行が可能になっている（LLM が計画全体を実行できる）
• ✅ サードパーティのQAチームがすぐにテストを開始できる