mcpField
C
chapter-evaluator

chapter-evaluator

github.com/panaversityその他51 回インストール
リポジトリ

chapter-evaluator について

chapter-evaluator は、学生の体験と教師の授業設計の両面から教材の章を評価するスキルです。観点別の評価、課題の特定、改善案を提示し、重要項目に基づいて公開準備状況を判断します。

主な機能

  1. 01学習意欲・明瞭さ・自信の評価
  2. 02学習目標と認知負荷の確認
  3. 03足場かけと学習進行の分析
  4. 04演習・プロンプト・確認方法の評価
  5. 05内容・構成・教育面の課題特定

活用シーン

  1. 01公開前の教材章のレビュー
  2. 02内容が不明瞭または退屈な原因の特定
  3. 03既存の教材章の改善計画
  4. 04品質基準に沿った章の比較

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/panaversity/agentfactory --skill chapter-evaluator

インストール後、Claude Code で/chapter-evaluatorを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

references/
student-rubric.md
teacher-rubric.md
word-count-benchmarks.md

詳細

チャプター評価スキル

教育用チャプターを、学生の体験（エンゲージメント、明確さ、自信）と教師の視点（教育法、学習目標、評価）の両面から評価します。評価、課題、実行可能な改善策を含む構造化された分析を出力します。

使用するタイミング

  • 公開前にチャプター全体の質を分析する場合
  • 内容が「しっくりこない」理由（短すぎる、退屈、つながりがないなど）を特定する場合
  • 既存のチャプターの改善を計画する場合
  • チャプターを品質基準に照らして比較する場合
  • ユーザーがチャプターの「評価」「レビュー」「分析」を依頼した場合

評価プロセス

ステップ 1：チャプターの内容を収集する

チャプターディレクトリ内のすべてのレッスンファイルを読みます。

ls -la <chapter-path>/*.md | grep -v summary | grep -v README | grep -v quiz

各レッスンファイルから以下を抽出します。

  • YAML フロントマター（学習目標、認知的負荷、スキル、レイヤー）
  • 単語数
  • セクション構成（見出し）
  • AI と試すプロンプト
  • 実践演習
  • コード例
ステップ 2：学生の視点から分析する

初めてこの内容に触れる初心者の立場で評価します。

2.1 エンゲージメントスコア（1〜10）
スコア基準
9-10引き込まれる導入があり、実社会との関連が明確で、読み進めたくなる
7-8十分に興味深く、惹きつけられる箇所もあり、少し退屈な箇所はわずか
5-6実用的だが印象に残らず、ドキュメントを読んでいるように感じる
3-4退屈で、文章の壁のように感じられ、読み進める理由がない
1-2最初のセクションを読んだ後、読むのをやめてしまう

確認項目：

  • 導入のつかみ（最初の段落で興味を引けているか？）
  • 現実世界のシナリオ（これは「私」にとってなぜ重要なのか？）
  • つながりのない事実の羅列ではなく、ストーリーや物語の流れがあるか
  • 視覚的な区切り（図、表、コードブロック）
  • ペースの変化（概念 → 実践 → 概念）
  • 比較価値（VS Code/Copilot などの代替手段との比較）
2.2 長さの評価
判定基準
短すぎる例が不足している、概念の説明がない、唐突に終わる、「理解できない」と感じる
ちょうどよい各概念に十分な深さがあり、例が理解を助け、流れが自然である
長すぎる説明が繰り返されている、説明が過剰で、30％以上削れる可能性がある

単語数の目安：

  • 概念レッスン：1,000〜1,400語
  • 実践レッスン：1,200〜1,600語
  • インストール／セットアップ：800〜1,200語（要点を絞る）
  • 総仕上げ：1,400〜1,800語
2.3 明確さスコア（1〜10）
スコア基準
9-10非常に明快で、読み返す必要がなく、「なるほど」と思える瞬間がある
7-8おおむね明快で、複雑な部分はときどき読み返す必要がある
5-6努力すれば理解できるが、わかりにくいセクションもある
3-4頻繁に混乱する、文脈が不足している、専門用語の説明がない
1-2内容についていけず、身についていない知識を前提としている

確認項目：

  • 専門用語が定義される前に使われていないか
  • 段落間の論理的な流れ
  • セクション間のつなぎ
  • 前提条件が説明されているか、暗黙の前提になっていないか
  • 安全性の確認： コマンドが連結されていないか、危険なコピー＆ペーストがないか
2.4 実践での有効性（1-10）
スコア基準
9-10手順が明確で、実行可能であり、自信がつき、「できた！」と思える
7-8ほぼ明確で、多少曖昧な点はあるものの、問題なく完了できる可能性が高い
5-6実行は可能だが、手順がわかりにくく、トラブルシューティングが必要になる場合がある
3-4手順が不足しており、何をすればよいか不明確で、行き詰まる可能性が高い
1-2外部の支援なしでは完了できない

確認事項：

  • 段階的な手順（番号付きで明確）
  • 期待される出力や結果が示されている
  • トラブルシューティングのガイダンス
  • 学んだばかりの概念との関連
2.5 進行の明確さ（1-10）
スコア基準
9-10開始から習得までの道筋が明確で、各レッスンが前の内容を土台としている
7-8おおむね段階的に進むが、レッスン間に多少の飛躍がある
5-6論理的な進行はある程度見られるが、目立つ抜けがある
3-4レッスンにつながりがなく、相互の関連がわかりにくい
1-2順序が無作為で、明確な学習経路がない

確認事項：

  • 導入部でのつながり（「レッスンN-1ではXを学びました。次に……」）
  • 章を通じて一貫して扱われる実例
  • 相互に積み重なるスキル
  • レッスンの最後に「次に何をするか」が明確に示されている
2.6 自信度（1-10）
スコア基準
9-10「もう確実にできる」―自分で応用する準備ができている
7-8「ほとんど理解しており、残りも自分で理解できそう」
5-6「なんとなくわかるが、応用するには助けが必要」
3-4「いつ、どのように使うのかがわからず、混乱している」
1-2「読んだ内容がまったく理解できていない」

確認事項：

  • 次に進む前に練習する機会がある
  • 確認手順（「Xが表示されるはずです」）
  • 現実世界での応用例
  • 「自分で試してみましょう」という促し
ステップ3：教師の視点からの分析

指導設計者として、教育的妥当性を評価します。

3.1 学習目標の質（1-10）
スコア基準
9-10SMARTな目標で、測定可能であり、内容と評価に沿っている
7-8目標が明確で、おおむね測定可能であり、内容との整合性が高い
5-6目標は示されているが、曖昧であるか、一部しか内容に沿っていない
3-4目標が不十分で、測定できず、内容との整合性が低い
1-2目標がない、または意味をなしていない

確認事項：

  • ブルームの分類法の動詞との整合性（Remember → Create）
  • 測定可能な基準（「説明できる」「作成できる」「区別できる」）
  • 評価方法が指定されている
  • レッスンの内容で実際に目標が教えられている
3.2 認知負荷の管理（1-10）
スコア基準
9-10レベルに適した概念で、足場かけが十分に行われ、負荷が過剰でない
7-8おおむね適切だが、多少負荷が過剰になる場面がある
5-6認知負荷がやや過剰で、一度に提示される概念が多すぎる
3-4負荷が大幅に過剰で、概念が整理されないまま積み重ねられている
1-2圧倒的な負荷で、記憶に定着する余地がない

習熟度別の目安：

  • A1-A2：レッスンごとに新しい概念を3-5個
  • B1-B2：レッスンごとに新しい概念を5-7個
  • C1-C2：レッスンごとに新しい概念を7-10個

確認事項：

  • 新しい概念がfrontmatterに数えられている
  • 概念が一度に一つずつ導入されている
  • 新しい概念の導入前に練習がある
  • 複雑な手順が小分けにされている
3.3 足場かけの質（1～10）
スコア基準
9-10展開が完璧で、各概念が前の概念を土台としており、抜けがない
7-8足場かけは良好で、学習者が補える小さな飛躍がある
5-6足場かけにいくつか抜けがあり、教えられていない予備知識が必要になる
3-4大きな抜けがあり、前提条件に含まれない知識を前提としている
1-2足場かけがなく、概念が無秩序に登場する

確認項目：

  • 前提条件が記載され、実際に前提条件として妥当である
  • 概念が使われる前に導入されている
  • 難易度が段階的に上がっている
  • 新しい内容の前に、既習の知識が活性化されている
3.4 教育レイヤーの適切さ（1～10）
レイヤー想定される特徴
L1（基礎）手作業を優先し、自動化の前に理解する。AI による近道は使わない
L2（協働）AI を教師／学習者／共同作業者として活用し、やり取りを通じて学習する
L3（知能）パターン認識、再利用可能な知能（スキル／サブエージェント）の作成
L4（オーケストレーション）最終課題、コンポーネントの組み合わせ、仕様主導の開発

確認項目：

  • フロントマターでレイヤーが宣言されている
  • 内容がレイヤーの想定に合っている
  • 章を通じてレイヤーが段階的に進む（L1 → L2 → L3 → L4）
  • 早い段階のレッスンで自動化を先取りしていない（初期のレッスンに L3 の内容がない）
3.5 AI で試すセクションの効果（1～10）
スコア基準
9-10プロンプトがレッスン内容を直接発展させ、具体的で、スキルを伸ばす
7-8プロンプトは良好で、ほとんどが内容と結び付いている
5-6プロンプトが一般的で、内容との結び付きが弱い
3-4コピー＆ペースト用のプロンプトで、レッスン内容と合っていない
1-2プロンプトがない、または無関係である

確認項目：

  • 各レッスンにプロンプトが 2～3 個ある（1 個でも 5 個以上でもない）
  • プロンプトがレッスン内容を具体的に参照している
  • プロンプトの難易度が段階的に上がっている
  • 「学んでいること」の説明がある
3.6 評価／検証の質（1～10）
スコア基準
9-10各段階で明確に検証でき、学習者が成功したかどうか分かる
7-8ほとんどの演習で適切に検証できる
5-6検証はあるが、成功したかどうか学習者が判断できない場合がある
3-4検証が不十分で、学習者が順調に進んでいるか判断できない
1-2検証がなく、学習者は成功したかどうかまったく分からない

確認項目：

  • コマンドに「期待される出力」が示されている
  • 「X が表示されるはずです」という確認がある
  • エラー状態が説明されている
  • レッスンの最後にチェックポイントがある

各評価軸の重要度と公開ゲート

重要：公開において、すべての評価軸が同じ重要度とは限りません。このゲートを使って、コンテンツを公開できる状態か判断してください。

ゲート対象の評価軸（必ず 7 以上）

これらの評価軸が 7/10 未満の場合、公開できません。まず、これらを修正してください。

評価軸重要な理由改善方法
明瞭さ明瞭でなければ何もうまくいきません。混乱した学習者は学習をやめてしまいます。technical-clarity スキルを使用する
足場かけ段階的な展開が不十分だと学習が妨げられます。学習者は既習知識を土台にできません。concept-scaffolding スキルを使用する
レイヤーの適切さレイヤーが不適切だと、前提条件が不足するか、課題が易しすぎます。レイヤーを再設計し、前提条件を確認する
重要な評価項目（6以上）

これらの項目は高い水準である必要がありますが、軽微な問題は修正できます。

評価項目目標改善方法
エンゲージメント6+実例とインタラクティブな要素を追加する
学習目標6+learning-objectives スキルを使用する
評価／検証6+検証手順と明確さの確認を追加する
認知負荷6+1レッスンあたりの概念を減らし、演習を追加する
強化項目（5以上）

これらはあると望ましい項目です。公開にあたって完璧である必要はありません。

  • 進行の明確さ（5以上）
  • 実践演習の有効性（5以上）
  • 自信（5以上）
  • AI と試すことの有効性（5以上）

公開判断ロジック

すべての項目を採点した後で、次の判断ツリーを使用します。

IF any gate dimension (Clarity, Scaffolding, Layer) < 7:
  → REVISE: Content not ready
  → Fix the failing dimension(s)
  → Re-evaluate

ELSE IF (Engagement < 6) AND (Hands-On < 6):
  → CONDITIONAL PASS: Functional but needs improvement
  → Content is usable; improvements recommended
  → Can publish with revision plan

ELSE IF any important dimension (Objectives, Assessment, Load) < 5:
  → CONDITIONAL PASS: Missing elements but learnable
  → Flag for revision; can publish

ELSE:
  → PASS ✅: Ready for publication
  → All gate dimensions 7+
  → Most important dimensions 6+
判断例

章の評価結果：

  • 明確さ：8 ✅
  • 足場かけ：7 ✅
  • レイヤーの適切さ：8 ✅
  • エンゲージメント：5（理想を下回る）
  • 認知負荷：7 ✅
  • 学習目標：6 ✅
  • 評価：7 ✅

判断：合格 ✅ — ゲート項目はすべて7以上です。エンゲージメントは低いものの、構成はしっかりしています。推奨事項：次回の改訂で、より魅力的な例を追加します。

ステップ 4：ギャップ分析

採点後、具体的に不足している要素を特定します。

コンテンツのギャップ
  • 例の不足（概念を説明しているが、実例を示していない）
  • ハンズオンの不足（理論のみで、実践がない）
  • 「なぜ」の不足（何を説明しているかは示しているが、重要である理由を説明していない）
  • トラブルシューティングの不足（想定どおりに進むケースのみ）
  • つながりの不足（レッスン同士がつながっていない）
構成上のギャップ
  • 冒頭のつかみの不足
  • 一貫した実例の不足
  • 「次のステップ」の締めくくりの不足
  • 視覚的要素の不足（テキストのみで、図や表がない）
  • 技術的な内容に対するコード例の不足
教育上のギャップ
  • 目標が評価されていない
  • 認知的な過負荷に対処していない
  • レイヤーの不一致（内容が宣言されたレイヤーに合っていない）
  • 前提条件が実際には前提条件になっていない
  • AI と試すためのプロンプトが内容と関連していない
ステップ 5：改善案の作成

各ギャップについて、次の内容を提示します。

  1. 問題：不足している点、または誤っている点
  2. 影響：学習に及ぼす影響（高／中／低）
  3. 修正方法：対処するための具体的なアクション
  4. 作業量：推定作業時間（低：30分未満、中：30～90分、高：90分超）
  5. 優先度：1（最優先）、2（重要）、3（あると望ましい）

出力形式

次の構成で分析を作成します。

# Chapter Evaluation: [Chapter Name]

## Executive Summary

[1 paragraph: Overall quality assessment, key strengths, critical issues, recommendation]

## Student Analysis

### Scores

| Dimension   | Score              | Verdict            |
| ----------- | ------------------ | ------------------ |
| Engagement  | X/10               | [One-line summary] |
| Length      | [Short/Right/Long] | [One-line summary] |
| Clarity     | X/10               | [One-line summary] |
| Hands-On    | X/10               | [One-line summary] |
| Progression | X/10               | [One-line summary] |
| Confidence  | X/10               | [One-line summary] |

**Overall Student Experience**: X/10

### Detailed Findings

[Specific observations per dimension with examples from content]

### Student Pain Points

1. [Specific issue from student perspective]
2. [Specific issue from student perspective]
   ...

## Teacher Analysis

### Scores

| Dimension             | Score | Verdict            |
| --------------------- | ----- | ------------------ |
| Learning Objectives   | X/10  | [One-line summary] |
| Cognitive Load        | X/10  | [One-line summary] |
| Scaffolding           | X/10  | [One-line summary] |
| Layer Appropriateness | X/10  | [One-line summary] |
| Try With AI           | X/10  | [One-line summary] |
| Assessment            | X/10  | [One-line summary] |

**Overall Pedagogical Quality**: X/10

### Detailed Findings

[Specific observations per dimension with examples from content]

### Pedagogical Concerns

1. [Specific issue from teacher perspective]
2. [Specific issue from teacher perspective]
   ...

## Gap Analysis

### Content Gaps

| Gap               | Lesson(s) | Impact       |
| ----------------- | --------- | ------------ |
| [Missing element] | L0X       | High/Med/Low |

...

### Structural Gaps

| Gap               | Lesson(s) | Impact       |
| ----------------- | --------- | ------------ |
| [Missing element] | L0X       | High/Med/Low |

...

### Pedagogical Gaps

| Gap               | Lesson(s) | Impact       |
| ----------------- | --------- | ------------ |
| [Missing element] | L0X       | High/Med/Low |

...

## Improvement Recommendations

### Priority 1 (Critical)

| #   | Problem | Fix      | Effort       | Lesson(s) |
| --- | ------- | -------- | ------------ | --------- |
| 1   | [Issue] | [Action] | Low/Med/High | L0X       |

...

### Priority 2 (Important)

| #   | Problem | Fix      | Effort       | Lesson(s) |
| --- | ------- | -------- | ------------ | --------- |
| 1   | [Issue] | [Action] | Low/Med/High | L0X       |

...

### Priority 3 (Nice-to-Have)

| #   | Problem | Fix      | Effort       | Lesson(s) |
| --- | ------- | -------- | ------------ | --------- |
| 1   | [Issue] | [Action] | Low/Med/High | L0X       |

...

## Publication Decision

### Gate Status

| Gate           | Dimension             | Score | Status |
| -------------- | --------------------- | ----- | ------ |
| 🚧 BLOCK if <7 | Clarity               | X/10  | ✅/❌  |
| 🚧 BLOCK if <7 | Scaffolding           | X/10  | ✅/❌  |
| 🚧 BLOCK if <7 | Layer Appropriateness | X/10  | ✅/❌  |

### Publication Verdict

**Status**: [PASS ✅ | CONDITIONAL | REVISE]
**Recommendation**: [Ready for publication | Fix gates first | Needs revision plan]

## Next Steps

If PASS:

- [ ] Ready for publication
- [ ] Note: Optional improvements in Priority 3 section above

If CONDITIONAL:

- [ ] Content is functional
- [ ] Recommended: Address Priority 1 issues in next iteration
- [ ] Can publish now; plan revision cycle

If REVISE:

- [ ] STOP: Fix gate dimensions first
- [ ] [Gate dimension 1]: [Specific action]
- [ ] [Gate dimension 2]: [Specific action]
- [ ] Use remediation skills: [skill-1, skill-2]
- [ ] Re-evaluate after fixes

## Summary Metrics

| Metric             | Value   |
| ------------------ | ------- |
| Total Lessons      | X       |
| Average Word Count | X       |
| Student Score      | X/10    |
| Teacher Score      | X/10    |
| Overall Score      | X/10    |
| Gate Pass?         | Yes/No  |
| Critical Issues    | X       |
| Estimated Fix Time | X hours |

品質の参考資料

評価対象の章を、質の高い参考レッスンと比較します。このスキルは、利用可能な場合、パート1またはパート6から参考レッスンを自動的に特定し、読み込む必要があります。

参考レッスンで確認するパターン：

  • 01-agent-factory-paradigm/01-digital-fte-revolution.md
  • 33-introduction-to-ai-agents/01-what-is-an-ai-agent.md

リソース

references/

詳細な評価基準については、references/ を参照してください。

  • student-rubric.md - 学生の視点からの詳細な評価基準
  • teacher-rubric.md - 教師の視点からの詳細な評価基準
  • word-count-benchmarks.md - レッスンの種類別の語数の目安

コメント

Markdown 対応