report

スマートなテストレポート

ユーザーがすでに利用しているワークフローに組み込めるテストレポートを生成します。新しいツールは不要です。

手順

1. テストを実行する（まだ実行していない場合）

最近のテスト結果があるか確認します。

ls -la test-results/ playwright-report/ 2>/dev/null

最近の結果がない場合は、テストを実行します。

npx playwright test --reporter=json,html,list 2>&1 | tee test-output.log

2. 結果を解析する

JSON レポートを読み込みます。

npx playwright test --reporter=json 2> /dev/null

以下の情報を抽出します。

• テストの合計数、成功数、失敗数、スキップ数、フレーキーなテスト数
• テストごとの所要時間と合計所要時間
• 失敗したテスト名とエラーメッセージ
• フレーキーなテスト（再試行で成功）

3. レポートの送信先を検出する

設定内容を確認し、自動的に送信先を選択します。

確認項目	見つかった場合	アクション
TESTRAIL_URL 環境変数	TestRail が設定済み	/pw:testrail push で結果を送信
SLACK_WEBHOOK_URL 環境変数	Slack が設定済み	概要を Slack に投稿
.github/workflows/	GitHub Actions	アーティファクト経由で結果を PR コメントに追加
playwright-report/	HTML レポーター	レポートを開く、または配信
上記のいずれもなし	デフォルト	Markdown レポートを生成

4. レポートを生成する

Markdown レポート（常に生成）

# Test Results — {{date}}

## Summary
- ✅ Passed: {{passed}}
- ❌ Failed: {{failed}}
- ⏭️ Skipped: {{skipped}}
- 🔄 Flaky: {{flaky}}
- ⏱️ Duration: {{duration}}

## Failed Tests
| Test | Error | File |
|---|---|---|
| {{name}} | {{error}} | {{file}}:{{line}} |

## Flaky Tests
| Test | Retries | File |
|---|---|---|
| {{name}} | {{retries}} | {{file}} |

## By Project
| Browser | Passed | Failed | Duration |
|---|---|---|---|
| Chromium | X | Y | Zs |
| Firefox | X | Y | Zs |
| WebKit | X | Y | Zs |

test-reports/{{date}}-report.md に保存します。

Slack の概要（Webhook が設定されている場合）

curl -X POST "$SLACK_WEBHOOK_URL" \
  -H 'Content-Type: application/json' \
  -d '{
    "text": "🧪 Test Results: ✅ {{passed}} | ❌ {{failed}} | ⏱️ {{duration}}\n{{failed_details}}"
  }'

TestRail への送信（設定されている場合）

JSON の結果を指定して /pw:testrail push を呼び出します。

HTML レポート

npx playwright show-report

または、CI の場合：

echo "HTML report available at: playwright-report/index.html"

5. 傾向分析（過去のデータがある場合）

test-reports/ に過去のレポートがある場合：

• 合格率の経時変化を比較します
• 最近フレーキーになったテストを特定します
• 新たな失敗と繰り返し発生している失敗を強調します

出力

• 成功／失敗／スキップ／フレーキーの件数を含む概要
• エラーメッセージを含む失敗したテストの詳細
• レポートの送信先の確認
• 傾向の比較（過去のデータがある場合）
• 次のアクションの推奨（失敗を修正する、または成功を祝う）