ai-eval-playbook

AI Evaluation Playbook — ライブ取得ガイド

このスキルは、変化し続けるドキュメントそのものではなく、安定したインデックスです。公式のプレイブックは https://eval.playbook.org.ai/ にあり、メンテナーが四半期ごとにリリースを公開しています。以下のキャッシュ済み要約は、あくまで概要を把握するためのものです。実質的な回答を作成する前に、ライブページを取得してください。また、回答のどの部分がライブページに基づき、どの部分がキャッシュ済みの概要に基づくのかを明記してください。

2026-08-05 に、メンテナー自身のスキルファイル（github.com/IDinsight/ai-eval-playbook、skills/）を基に調整。Ane のハーネスに合わせてツールの参照を修正し、正しい /user-experience パス（上流の誤記パスは現在リダイレクトされます）を反映し、ルーティングを Ane のスキルレーンに限定しています。

ステップ 0 — まずローカルを確認

1. mel_wiki/wiki/frameworks/ai-evaluation-playbook.md（作業フォルダー）を読みます。検証済みの引用ブロック、4 段階および MVE の表、IPPF EN の適用、ECA の較正、更新状況が記載されています。概要をすばやく把握するための回答なら、このページとこのファイルだけで十分なことがよくあります。その場合は、その旨を伝え、該当する段階を明記してください。
2. AI ツールが SRHR に関わる場合は、プレイブックの評価設計と併せて mel_wiki/wiki/frameworks/ai-srhr-mel-framework.md（WHO／UNESCO／EU AI Act のコンプライアンス枠組み）を適用します。

最新のコンテンツを取得する方法（優先順位順）

1. 公式 URL を WebFetch します。context-mode によって呼び出しがリダイレクトされた場合は、ctx_fetch_and_index を使用してインデックス化されたページを検索します。
2. ?ask= エンドポイントで範囲を絞って検索します。任意のページ URL の末尾に .md?ask=<URL-encoded-question> を追加すると、引用付きの回答を直接取得できます。例：https://eval.playbook.org.ai/model-behaviour/level-1-module-evaluation/overview.md?ask=what+is+a+golden+dataset。
3. 自動取得をブロックするページでは、フォールバックとして claude-in-chrome を使用します。
4. 古い GitBook-ID URL（/spaces/<id>/pages/<id>）は避け、以下のセマンティックパスを使用します。

URL に関する注意（2026-08-05 時点）：/user-expereince（上流のドキュメントに記載された誤記パス）は、現在 /user-experience にリダイレクトされます。正しい綴りを使用してください。セクションのルート（例：/model-behaviour）は、…/overview.md にも同じ内容があります。Level-3 のサブページ 2 件はスラッグとタイトルが一致しません（descriptive-analysis の表示タイトルは「Identify outcome metrics」、user-privacy-and-security の表示タイトルはプロセス評価のページです）。スラッグではなく、表示されている H1 を引用してください。

4 段階フレームワーク（キャッシュ済みの概要、2026-08-05）

段階	問い	主な担当者
L1 — モデル	AI システムは意図したとおりに機能していますか？	AI エンジニア、ML 研究者
L2 — プロダクト	プロダクトはユーザーの利用を促し、継続利用につなげていますか？	PM、データサイエンティスト、UX 研究者
L3 — ユーザー	思考、感情、知識、行動に変化をもたらしていますか？	行動科学者、M&E 専門家
L4 — インパクト	開発成果は改善していますか？	インパクト評価者、経済学者

各段階は循環的であり、直線的ではありません。L1 だけでは評価になりません。L2 では、デバイス利用時間ではなく、成功に至るまでの時間を最適化します。Wiki では、L1～L2 をアウトプット、L3 をアウトカム、L4 をインパクトに対応づけています（これは Wiki による追加であり、プレイブックの記載ではありません）。

最小実用評価（Minimum Viable Evaluations。成果物で引用する前にMVE のページを取得してください）：L1 = 閾値を設けたルーブリックの評価項目 2～3 件 + ゴールデンデータセットの項目 30～50 件 + 安全性指標 1 件以上 + 専門家によるレビュー。L2 = エンゲージメント／継続利用の追跡 + 役立つ／役立たないシグナル。L3 = 専門家がレビューする会話ログ週 10 件 + 近位アウトカム 1 件。L4 = 十分なサンプル数による反実仮想 + バージョン管理 + コストデータ。

リンクマップ（2026-08-05 にサイトレベルで確認済み）

• ホーム／概要: https://eval.playbook.org.ai/
• プロセスと執筆者: https://eval.playbook.org.ai/overview/the-process-behind-this-playbook
• 利用開始: /getting-started/building-blocks-for-genai-evaluation、/getting-started/building-the-team、/getting-started/building-the-infrastructure
• よくある質問／用語集／MVE／ツール: /additional-resources/frequently-asked-questions、/additional-resources/glossary、/additional-resources/minimum-viable-evaluations、/additional-resources/additional-resources
• L1 モデル（ルート /model-behaviour）: /model-behaviour/how-to-evaluate/ 配下の6段階のループ — 1.-decide-on-an-evaluation-rubric、2.-decide-on-metrics、3.-develop-a-golden-dataset、4.-scoring-and-error-analysis、5.-automate-your-evaluations、6.-red-teaming
• L2 プロダクト（ルート /product-analytics）: /product-analytics/how-to-evaluate/how-is-level-2-evaluation-performed、methods-for-experimentation-a-b-testing-and-beyond、connection-with-other-levels、why-arent-users-engaging
• L3 ユーザー（ルート /user-experience）: /user-experience/how-to-evaluate/how-is-level-3-evaluation-performed、descriptive-analysis（表示名は「成果指標を特定する」）、defining-guardrail-metrics-measuring-potential-harm、why-arent-thoughts-feelings-and-behavior-changing（実験を表示）、user-privacy-and-security（プロセス評価を表示）
• L4 インパクト（ルート /social-impact）: /social-impact/how-to-evaluate/how-is-level-4-evaluation-performed、a-quick-primer-on-impact-evaluation-methods、key-design-considerations-for-ai-specific-impact-evaluations、common-pitfalls-to-avoid、process-evaluation-why-arent-outcomes-changing
• レベル間の関連（ルート /level-linkages）: risk-assessment-and-mitigation、data-protection、process-evaluations（および do-i-need-a-process-evaluation、what-does-it-take-to-do-a-process-evaluation）

取得したサブページが404の場合は、そのセクションのルートを取得して、表示されるナビゲーションをたどってください。その後、該当する切れたパスを報告し、このスキルと wiki ページを更新してください。

回答ルール

1. Ane の標準に従って引用します。 The Agency Fund、Center for Global Development、IDinsight（2026）『AI Evaluation Playbook』、継続更新中の文書、公式サイトと該当するページ URL、アクセス日を記載します。安定したスナップショットが必要な場合は、『Generative AI Evaluation Playbook: Policy Brief』、CGD、2026年4月を使用します。CLAUDE.md の Citation Standards に従い、セッション中にハイパーリンクを検証してください。記憶に頼ってはいけません。
2. 読者に合わせて調整します。 資金提供者／経営層には、エビデンス基準、費用対効果、規模拡大への準備状況を示します。M&E／行動科学の読者には、構成概念、調査設計、因果推論を示します。エンジニア／PM には、ルーブリック、指標、CI、ツールを示します。MA のスタッフ／実装担当者には、MVE と実践的な第一歩、Tier 1 登録簿、平易な言葉を用います。
3. トレードオフを正直に伝えます。 評価には多くのリソースが必要です。最大限の評価を推奨するのではなく、読者が自身の段階にとって何が十分か判断できるよう支援してください。そのための最低ラインとして MVE があります。
4. 最新のページを優先します。 最新のページがこのスキルのキャッシュ済みコンテンツまたは wiki ページと異なる場合は、最新のページを優先します。相違を domain-standards.md の保留中の検証ログに報告し、このスキルの更新が必要であることを記録してください。wiki の引用ブロックを黙って編集してはいけません。
5. 関連する別の依頼には適切な案内をします。 プログラム／MEL の評価設計 → /ann、/grill-mel、indicator-designer、evidence-synthesis。評価者による AI の利用 → wiki の ai-mel-framework。文章による提案書のスコアリング → donor-proposal-scoring。成果物に含めるコンテンツは、このスキルの「回答を先に示す」形式ではなく、成果物のティアと段階に従います。