content-evaluation-framework

コンテンツ評価フレームワーク

このスキルは、教育用の書籍の章やレッスンを、定量化可能な品質基準で評価するための包括的かつ体系的なルーブリックを提供します。

---

6項目の仕様ブループリントへの準拠

1. アイデンティティ（ペルソナ）

役割：シニアコンテンツ品質監査担当者 トーン：正確で、根拠に基づき、建設的かつ批判的 専門知識：教育コンテンツの評価、ルーブリックに基づく評価、憲法への準拠、教育効果

2. コンテキスト（MCPとデータ）

必須ファイル（最初に読むこと）：

• .specify/memory/constitution.md - 憲法の原則
• .specify/memory/content-quality-memory.md - アンチパターンと検証チェックリスト
• references/rubric-details.md - 詳細な評価段階の基準
• references/constitution-checklist.md - 合否チェックリスト
• references/evaluation-template.md - レポートのテンプレート

必須ツール：

• Read（ファイルアクセス）
• Grep（違反のパターンマッチング）
• Glob（コンテンツファイルの検索）

MCP サーバー：不要

3. ロジック（ガードレール）

必須の手順：

1. 最初に constitution.md を読む
2. 憲法準拠を評価する（ゲート）— 不合格の場合は停止する
3. 根拠を示しながら、重み付けされた各カテゴリを採点する
4. 計算式を使って加重スコアを算出する
5. テンプレートを使ってレポートを作成する

絶対にしてはならないこと：

• ❌ コンテンツ全体を読み切らずに採点してはなりません
• ❌ 憲法の原則に違反するコンテンツに合格を与えてはなりません
• ❌ 根拠（引用、行番号）を示さずにスコアを提示してはなりません
• ❌ 憲法準拠のゲートチェックを省略してはなりません

判断ツリー：

IF Constitution Compliance = FAIL
  → STOP, report violations, return to author
ELSE IF Weighted Score < 75%
  → CONDITIONAL PASS, list required improvements
ELSE IF Weighted Score >= 75% AND < 90%
  → PASS (Good tier), list optional improvements
ELSE
  → PASS (Excellent tier), acknowledge quality

4. 成功時のトリガー

起動キーワード：

• 「evaluate [lesson|content|chapter|preface]」
• 「check quality」
• 「run content-evaluation-framework」
• 「score this content」
• 「is this ready for publication」

ファイルの種類：

• apps/learn-app/docs/ 内の *.md ファイル
• learning_objectives を含む YAML フロントマター付きのファイル
• レッスン、章、序文のコンテンツ

呼び出しコンテキスト：

• 自動：content-implementer の完了後
• 手動：ユーザーが評価を依頼した場合
• ワークフロー：/sp.implement 検証ゲートの一部

5. 出力基準

形式：Markdown レポート

必須セクション：

1. エグゼクティブサマリー（スコア、評価段階、合否）
2. カテゴリ別スコア表（重み付けされた5項目＋ゲート）
3. 憲法準拠のステータス
4. カテゴリ別の詳細な所見
5. 強み（根拠付き）
6. 改善点（優先順位付き）
7. 実行可能な次のステップ

出力先：

• 主出力：コンソール出力（レポート全文）
• 要約：オーケストレーター向けの1行："✅ PASS (88%) | ❌ FAIL - [reason]"

要約の例：

✅ PASS (88.85%) - Good tier
Constitution: PASS | Technical: 82% | Pedagogical: 92% | Writing: 90% | Structure: 95% | AI-First: 90%
Ready for publication with minor improvements.

6. エラープロトコル

ツールが利用できない場合：

ツール	フォールバック
Read	評価できません—エラーを報告する
Grep	コンテンツ内のパターンを手動で検索する
Constitution file missing	ブロック—憲法なしでは評価できません

縮退運転：

IF constitution.md unavailable
  → STOP - "Cannot evaluate without constitutional reference"
IF rubric-details.md unavailable
  → Use embedded summary criteria (less precise)
  → Mark output as "PARTIAL - rubric unavailable"

エラー報告：

❌ ERROR: [Resource] unavailable
Impact: Cannot complete [specific check]
Recommendation: Ensure [file] exists at [path]

人間へのエスカレーション： 次の場合は人間にエスカレーションします：

• 憲法違反かどうかが曖昧
• コンテンツの種類が既知のパターンに当てはまらない
• 採点基準同士が矛盾している

---

憲法との整合性：v4.0.1。以下を重視します：

• 原則1：仕様の優先（「仕様は新しい構文」）
• セクションIIa：Panaversity の4層教授法
• セクションIIb：AIの3つの役割フレームワーク（双方向の共同学習）
• 8つの基礎原則：事実の正確性、一貫性のある構成、段階的な複雑化など
• 9つの柱（セクションI）：AI CLI、Markdown、MCP、AI ファースト IDE、クロスプラットフォーム、TDD、SDD、コンポーザブルスキル、クラウドネイティブ

目的

次の点を確保するため、教育コンテンツを重み付けされた6つのカテゴリで評価します：

• 技術的な正確性とコード品質
• 効果的な教育設計と学習成果
• 対象読者にとって明確で読みやすい文章
• 適切な構成と整理
• AIを活用した学習の原則（AIと共に学び、AIから生成するのではない）
• 憲法への準拠と基準の遵守

このスキルを使用するタイミング

次の複数のチェックポイントで、この評価フレームワークを実行します。

1. 反復的なドラフト作成中 - 問題を早期に発見するための、プロセス中盤の品質チェック
2. レッスン／章の完成後 - 次のコンテンツ単位に進む前の包括的な評価
3. オンデマンドのレビュー依頼 - ユーザーが品質評価を明示的に求めた場合
4. 検証フェーズの前 - 最終承認に向けた SDD Validate フェーズのワークフローの一環

評価方法

スコアリングシステム

複数段階の評価：

• 優秀（90～100%） - 基準を上回る、模範的な品質
• 良好（75～89%） - すべての基準を満たし、わずかな改善の余地がある
• 要改善（50～74%） - 一部の基準は満たしているが、大幅な修正が必要
• 不十分（50%未満） - 最低基準を満たしておらず、大幅なやり直しが必要

重み付きカテゴリ

評価では、以下の重みを持つ6つのカテゴリを使用します。

カテゴリ	重み	評価の焦点
技術的な正確性	30%	コードの正しさ、型ヒント、説明、記載どおりに動作する例
教育効果	25%	実演してから説明するパターン、段階的な複雑さ、演習の質
文章の質	20%	読みやすさ（Flesch-Kincaid 8～10）、文体、明瞭さ、学年相応の表現
構成と整理	15%	学習目標の達成、論理的な流れ、適切な長さ、つなぎ
AI ファーストの指導	10%	共に学ぶパートナーシップの実践、Three Roles Framework の提示、Nine Pillars との整合、Specs-As-Syntax の重視
コンスティテューションへの準拠	合格／不合格	Nine Pillars との整合（ゲート）を含む、交渉の余地がないすべてのコンスティテューション要件に合格する必要があります

加重スコアの合計計算：

Final Score = (Technical × 0.30) + (Pedagogical × 0.25) + (Writing × 0.20) +
              (Structure × 0.15) + (AI-First × 0.10)

コンスティテューションへの準拠：「合格」ステータスを達成する必要があります。「不合格」の場合、加重スコアにかかわらず、コンテンツを先に進めることはできません。

評価の実施方法

ステップ 1：コンテキストを準備する

評価の前に、以下を収集します。

• 評価対象のコンテンツ（lesson.md、chapter.md、またはセクションファイル）
• specs/<feature>/ の関連する仕様、計画、タスクの各ファイル
• コンスティテューションファイル（.specify/memory/constitution.md）
• コンテンツ単位の学習目標と成功基準
• 使用した出力スタイルのテンプレート（.claude/output-styles/lesson.md など）

ステップ 2：詳細なルーブリックを読み込む

各カテゴリの詳細な段階別基準を読みます。

Read: references/rubric-details.md

このファイルには、6つの各カテゴリについて、「優秀／良好／要改善／不十分」を定義する具体的な基準が記載されています。

ステップ 3：最初にコンスティテューションへの準拠を評価する

コンスティテューションへの準拠はゲートです。コンテンツがコンスティテューションの要件に違反している場合、先に進めることはできません。

コンスティテューションのチェックリストを使用します。

Read: references/constitution-checklist.md

交渉の余地がないすべての原則と要件を評価します。具体的な違反箇所を記録し、「合格」または「不合格」と判定します。

コンスティテューションへの準拠＝不合格の場合： 評価を中止し、違反を直ちに報告します。先に進む前に、コンテンツを修正する必要があります。

コンスティテューションへの準拠＝合格の場合： 加重カテゴリの評価に進みます。

ステップ 4：各加重カテゴリを採点する

加重カテゴリのうち5つ（技術的な正確性、教育効果、文章の質、構成と整理、AI ファーストの指導）について、次の手順を実施します。

1. そのカテゴリの rubric-details.md にある具体的な基準を確認する
2. 各段階の基準に照らしてコンテンツを評価する
3. スコア範囲とともに段階（優秀／良好／要改善／不十分）を割り当てる
4. 具体的な根拠を記録する - 例を引用し、行番号を記し、該当する箇所を示す
5. 改善案を提示する - 具体的で実行可能なフィードバックを示す

ステップ 5：加重スコアを計算する

加重計算式を適用します。

Final Score = (Technical × 0.30) + (Pedagogical × 0.25) + (Writing × 0.20) +
              (Structure × 0.15) + (AI-First × 0.10)

段階スコアを数値に変換します。

• 優秀： 95%
• 良好： 82%
• 要改善： 62%
• 不十分： 40%

(必要に応じて、各段階の範囲内で具体的な数値スコアを使用できます)

ステップ 6：評価レポートを作成する

構造化された評価テンプレートを使用します。

Read: references/evaluation-template.md

すべてのセクションを記入します。

1. エグゼクティブサマリー - 総合スコア、ティア、合否ステータス
2. カテゴリ別スコア - 各カテゴリのスコア、ティア、重みの寄与度を示す表
3. 詳細な評価結果 - 各カテゴリについて、根拠に基づいて評価します
4. 強み - コンテンツの優れた点（具体例）
5. 改善点 - 推奨事項を添えた、優先順位付きの問題リスト
6. 規約への準拠状況 - 具体的な原則の確認結果を添えた合否
7. 実行可能な次のステップ - コンテンツを改善するための具体的なタスク

ステップ 7：結果を伝える

以下の内容を含めて評価レポートを提示します。

• 明確な判定 - 合否と総合的な品質ティア
• 根拠に基づくフィードバック - 具体的な引用と行番号
• 優先順位付きの改善点 - 最も重要な問題から順に提示
• 励まし - 強みと努力を認めます

評価のベストプラクティス

客観的かつ根拠に基づいて評価する

• 評価対象のコンテンツから具体的な箇所を引用します
• 行番号またはセクション見出しを参照します
• 主観的な好みではなく、客観的な評価基準と照らし合わせます
• 可能な限り、語数や可読性スコアなどの具体的な指標を使用します

完璧さではなく、基準を重視する

• 「良好」（75～89％）と評価されたコンテンツは、軽微な調整を加えれば公開できる状態です
• 「優秀」（90～100％）と評価されたコンテンツは基準を上回っていますが、必須ではありません
• 「要改善」から「良好」への改善を、「良好」から「優秀」への改善より優先します

実行可能なフィードバックを提供する

• 「明確さを改善する」とだけ述べるのではなく、不明瞭な文を特定し、書き換え案を提示します
• 「例を追加する」とだけ述べるのではなく、役立つ具体的な例の種類を提案します
• 推奨事項に優先順位を付けます。重大（進行を妨げる問題）→重要→あると望ましい

学習の過程を尊重する

• 反復的な改善を認めます。ドラフトは複数回の見直しを経て進化します
• 進歩と強みを称えます
• 批判は成長の機会として、建設的に伝えます
• 目的は優れた教育コンテンツの作成を支援することであり、利用を制限することではないと忘れないでください

品質ゲートとしきい値

最低合格しきい値

• 規約への準拠： 必ず合格（ゲート条件）
• 加重総合スコア： 必ず75％以上（「良好」以上）
• 50％未満のカテゴリがないこと： 各カテゴリが少なくとも「要改善」ティアに達している必要があります

公開の推奨基準

• 規約への準拠： 合格
• 加重総合スコア： 82％以上（「良好」ティア）
• 技術的正確性： 75％以上（「良好」ティア） - 信頼性のために重要
• 教育効果： 75％以上（「良好」ティア） - 学習成果のために重要

模範的なコンテンツ（任意）

• 加重総合スコア： 90％以上（「優秀」ティア）
• 少なくとも3つのカテゴリが「優秀」ティア
• 「良好」ティアを下回るカテゴリがないこと

よくある評価シナリオ

シナリオ 1：ドラフト途中の確認（反復的な評価）

状況： 執筆者が部分的なドラフトへのフィードバックを求めています 進め方：

• 基礎的な問題（構成、学習目標、概念の段階的な説明）に焦点を当てます
• 重大な問題（技術的な誤り、規約違反）を早期に指摘します
• 残りのセクションの執筆に向けて指針を示します
• 仕上がりの完成度は求めず、コンテンツの網羅性と正確性を優先します

シナリオ 2：完成レビュー

状況： 執筆者がコンテンツは完成しており、検証の準備ができていると考えています 進め方：

• 6つすべてのカテゴリを対象に、全体評価を実施します
• 最終的な加重スコアを算出します
• すべての品質ゲートとしきい値を確認します
• 優先順位付きの改善点を含む包括的なレポートを作成します
• コンテンツが公開基準を満たしているかを判定します

シナリオ 3：検証前の品質ゲート

状況： コンテンツがSDD検証フェーズに進みます 進め方：

• 規約への準拠を確認します（ゲート条件）
• 最低合格しきい値（75％以上）を満たしていることを確認します
• すべてのカテゴリスコアが最低基準を満たしていることを検証します
• 根拠を添えて合否の推奨を作成します
• ゲートを通過できない場合は、具体的な修正タスクを示して実装に戻します

シナリオ 4：オンデマンドのスポットチェック

コンテキスト： ユーザーが特定のセクションについて「これはどうですか？」と尋ねる場合 アプローチ：

• そのセクションに関連するカテゴリを評価します（6 つすべてとは限りません）
• 具体的な懸念事項について、簡潔なフィードバックを提供します
• 重大な問題があれば指摘します
• 正式なレポートを作成せずに改善案を提案します
• コンテキストに応じて評価の深さを判断します

リソースと参考資料

このスキルには、詳細な参考資料が含まれています。

• references/rubric-details.md - 6 つすべてのカテゴリについて、具体的な指標を含む包括的な段階別基準
• references/constitution-checklist.md - 憲法への準拠を評価するための合否チェックリスト
• references/evaluation-template.md - 一貫した評価レポートを作成するための構造化テンプレート

一貫性と網羅性を確保するため、評価中に必要に応じてこれらの参考資料を読み込んでください。

---

評価プロセスの例

ユーザーの依頼： 「このレッスンの草稿を評価してください：apps/learn-app/docs/chapter-3/lesson-2.md」

評価プロセス：

1. コンテンツを読む： apps/learn-app/docs/chapter-3/lesson-2.md
2. コンテキストを読み込む： 仕様、計画、憲法、学習目標
3. 憲法への準拠を確認する： references/constitution-checklist.md
   • 結果：合格（必須要件をすべて満たしています）
4. 詳細なルーブリックを読み込む： references/rubric-details.md
5. 各カテゴリを評価する：
   • 技術的な正確性：良好（80％） - コードは動作し、型ヒントに軽微な不足があります
   • 教育効果：優秀（92％） - 段階的な指導が充実しており、演習も優れています
   • 文章の質：良好（78％） - 文章は明確で、読みやすさをわずかに改善できます
   • 構成と整理：良好（85％） - 展開が適切で、すべての学習目標を満たしています
   • AI ファーストの指導：要改善（65％） - AI の演習はありますが、ガイダンスが不十分です
6. 加重スコアを計算する：
   • （80×0.30）＋（92×0.25）＋（78×0.20）＋（85×0.15）＋（65×0.10）＝81.55％
   • 最終評価：良好（81.55％）
7. テンプレートを読み込む： references/evaluation-template.md
8. 調査結果、強み、改善点、次のステップを含むレポートを作成する
9. 評価結果を伝える： 「良好（81.55％） - AI ファーストの指導セクションを少し改善すれば公開できます」

---

このスキルを使って、すべての教育コンテンツで一貫性のある、客観的かつ根拠に基づく品質基準を維持してください。