mcpField
C
chapter-evaluator

chapter-evaluator

github.com/panaversity其他51 次安装
代码仓库

关于 chapter-evaluator

chapter-evaluator 是用于评估教育章节质量的技能，从学生体验与教师教学设计两方面分析内容。它输出分项评分、差距和改进建议，并依据关键维度给出发布准备判断。

主要功能

  1. 01评估学生参与度、清晰度与信心
  2. 02检查教学目标和认知负荷
  3. 03分析脚手架与内容递进
  4. 04评估练习、提示词和验证环节
  5. 05识别内容、结构与教学差距

适用场景

  1. 01发布前审核教育章节
  2. 02查找章节内容难懂或乏味的原因
  3. 03规划现有课程章节的改进
  4. 04按质量标准比较章节

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/panaversity/agentfactory --skill chapter-evaluator

安装后在 Claude Code 中输入/chapter-evaluator确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
student-rubric.md
teacher-rubric.md
word-count-benchmarks.md

详细介绍

章节评估技能

从两个角度评估教学章节：学生体验（参与度、清晰度、自信心）和教师视角（教学法、目标、评估）。输出包含评分、差距和可操作改进建议的结构化分析。

使用时机

  • 发布前分析章节的整体质量
  • 找出内容为何“感觉不对”（太短、枯燥、缺乏衔接）
  • 规划对现有章节的改进
  • 将章节与质量标准进行比较
  • 用户要求“评价”“审阅”“分析”或“评估”某个章节

评估流程

步骤 1：收集章节内容

读取章节目录中的所有课程文件：

ls -la <chapter-path>/*.md | grep -v summary | grep -v README | grep -v quiz

对于每个课程文件，提取：

  • YAML frontmatter（学习目标、认知负荷、技能、层级）
  • 字数
  • 章节结构（标题）
  • Try With AI 提示词
  • 实践练习
  • 代码示例
步骤 2：学生视角分析

以初次接触这些内容的初学者视角进行评估。

2.1 参与度评分（1-10）
评分标准
9-10引人入胜的开场、清晰的现实关联，让我想继续读下去
7-8足够有趣，有些引人入胜的时刻，只有少数内容略显枯燥
5-6有实用价值但令人难忘，读起来像文档
3-4枯燥乏味、满篇文字，没有让人继续读下去的理由
1-2第一节读完就会放弃

检查以下方面：

  • 开场引子（第一段能否吸引读者？）
  • 现实场景（这与我有什么关系？）
  • 故事/叙事的连贯性，还是彼此脱节的事实
  • 视觉间隔（图表、表格、代码块）
  • 节奏变化（概念 → 实践 → 概念）
  • 比较价值（与 VS Code/Copilot 等替代方案相比）
2.2 长度评估
结论标准
太短缺少示例、概念未解释清楚、结尾仓促、“我不理解”
正合适每个概念都有足够的深度，示例能帮助理解，内容衔接自然
太长解释重复、论述过度展开，可以删减 30% 以上

字数基准：

  • 概念讲解课程：1,000-1,400 字
  • 实践课程：1,200-1,600 字
  • 安装/设置课程：800-1,200 字（聚焦）
  • 综合项目：1,400-1,800 字
2.3 清晰度评分（1-10）
评分标准
9-10极其清晰，无需重读，就能豁然开朗
7-8大部分内容清晰，复杂部分偶尔需要重读
5-6费些功夫可以理解，部分章节令人困惑
3-4经常感到困惑、缺少上下文、术语未作解释
1-2无法理解，默认读者掌握了我并不具备的知识

检查以下方面：

  • 术语是否在定义前就已引入
  • 段落之间的逻辑连贯性
  • 各章节之间的过渡
  • 假定的前置知识是否明确说明
  • **安全检查：**没有拼接在一起的命令或存在风险的复制粘贴内容
2.4 动手实践效果（1-10）
分数标准
9-10步骤清晰、可实现，能建立信心，让人产生“我做到了！”的感觉
7-8大体清晰，存在轻微歧义，很可能顺利完成
5-6可行，但步骤令人困惑，可能需要排查问题
3-4步骤缺失，不清楚该做什么，很可能会卡住
1-2没有外部帮助就无法完成

检查以下内容：

  • 分步骤说明（带编号且清晰）
  • 展示预期输出或结果
  • 故障排查指引
  • 与刚学过的概念相联系
2.5 学习进程清晰度（1-10）
分数标准
9-10从入门到精通的路径清晰，每节课都在前一节的基础上循序渐进
7-8总体循序渐进，课与课之间只有轻微跳跃
5-6有一定的逻辑顺序，但存在明显的衔接空缺
3-4各节课彼此割裂，不清楚它们之间的联系
1-2顺序随意，没有清晰的学习路径

检查以下内容：

  • 开篇建立联系（“在第 N-1 课中，你学习了 X。现在……”）
  • 贯穿整个章节的示例
  • 技能逐步递进
  • 在课程结尾清楚说明“接下来学什么”
2.6 信心评分（1-10）
分数标准
9-10“我现在肯定能做这个”——已准备好独立应用
7-8“我基本理解了，剩下的也能自己摸索”
5-6“我大概懂了，但需要帮助才能应用”
3-4“我不清楚何时或如何使用这个”
1-2“我完全不知道刚才读了什么”

检查以下内容：

  • 在继续学习之前提供练习机会
  • 验证步骤（“你应该会看到 X”）
  • 真实世界的应用示例
  • “自己试试看”的提示
第 3 步：教师视角分析

以评估教学合理性的教学设计师身份进行评估。

3.1 学习目标质量（1-10）
分数标准
9-10目标符合 SMART 原则，可衡量，并与内容和评估相匹配
7-8目标清晰，大多可衡量，匹配度良好
5-6有学习目标，但比较含糊或仅部分匹配
3-4目标薄弱、不可衡量，匹配度差
1-2缺少目标，或目标毫无意义

检查以下内容：

  • 是否与布鲁姆分类法的动词层级相符（记忆 → 创造）
  • 可衡量的标准（“能够解释”“能够创建”“能够区分”）
  • 是否指定评估方法
  • 课程内容是否实际教授了这些目标
3.2 认知负荷管理（1-10）
分数标准
9-10概念数量适合学习者水平，搭建了良好的学习支架，没有信息过载
7-8总体适宜，偶有轻微的信息过载
5-6存在一定的认知负荷过重，一次引入太多概念
3-4认知负荷过重，概念堆叠且缺乏巩固
1-2内容令人难以招架，无法留下任何印象

按熟练程度划分的基准：

  • A1-A2：每节课 3-5 个新概念
  • B1-B2：每节课 5-7 个新概念
  • C1-C2：每节课 7-10 个新概念

检查以下内容：

  • 在 frontmatter 中统计新概念数量
  • 一次引入一个概念
  • 引入新概念前先安排练习
  • 将复杂流程拆分成小块
3.3 脚手架质量（1-10）
分数标准
9-10进阶安排完美，每个概念都建立在前一个概念之上，没有断层
7-8脚手架设计良好，有少量学生可以自行衔接的跳跃
5-6脚手架存在一些断层，需要学生具备未教授的先备知识
3-4存在明显断层，假设学生掌握了先决条件中未涵盖的知识
1-2没有脚手架设计，概念随机出现

检查以下内容：

  • 列出了先决条件，且这些内容确实是先决条件
  • 先介绍概念，再使用概念
  • 复杂度逐步提升
  • 在引入新内容前激活先备知识
3.4 教学层级适切性（1-10）
层级预期特征
L1（基础）以手动操作为先，先理解再自动化，不走 AI 捷径
L2（协作）AI 作为教师／学生／协作者，通过互动学习
L3（智能）模式识别，创建可复用的智能能力（skills／subagents）
L4（编排）综合项目，组合各个组件，以规格驱动开发

检查以下内容：

  • 在 frontmatter 中声明层级
  • 内容符合层级预期
  • 章节中的层级逐步推进（L1 → L2 → L3 → L4）
  • 没有过早自动化（早期课程中出现 L3 内容）
3.5 Try With AI 的有效性（1-10）
分数标准
9-10提示词直接延伸课程内容，具体明确，有助于培养技能
7-8提示词质量良好，大多与内容相关
5-6提示词较泛泛，与内容关联较弱
3-4提示词只是照搬粘贴，与课程内容不匹配
1-2缺少提示词，或提示词无关

检查以下内容：

  • 每节课有 2-3 个提示词（不是 1 个，也不是 5 个以上）
  • 提示词明确引用课程内容
  • 提示词难度逐步提升
  • 包含“你正在学习什么”的说明
3.6 评估／验证质量（1-10）
分数标准
9-10每一步都有清晰的验证，学生知道自己是否成功
7-8大多数练习都有良好的验证
5-6有一些验证，学生可能不确定是否成功
3-4验证较弱，学生无法判断自己是否做对
1-2没有验证，学生完全不知道自己是否成功

检查以下内容：

  • 为命令展示“预期输出”
  • 提供“你应该看到 X”之类的确认说明
  • 解释错误情况
  • 提供课程结束检查点

维度关键性与发布门槛

关键：并非所有维度对于发布都同等重要。使用此门槛判断内容是否已准备好发布。

门槛维度（必须达到 7+）

如果这些维度的得分低于 7/10，则会阻止内容发布。请优先修复这些问题。

维度关键原因改进措施
清晰度如果内容不清晰，其他一切都无从谈起。困惑的学生会放弃。使用 technical-clarity 技能
脚手架进阶安排不佳会破坏学习过程。学生无法在先备知识的基础上继续学习。使用 concept-scaffolding 技能
层级适切性层级错误意味着学生缺少先决条件，或受到的挑战不足。重新设计层级；检查先决条件
重要维度（6+）

这些维度应表现良好，但较小的问题可以修复。

维度目标改进措施
参与度6+添加更多完整示例和互动元素
学习目标6+使用 learning-objectives skill
评估／验证6+添加验证步骤；检查清晰度
认知负荷6+减少每节课涉及的概念数量；添加练习
增强维度（5+）

这些属于锦上添花；发布时不要求尽善尽美。

  • 进阶清晰度（5+）
  • 动手实践效果（5+）
  • 信心（5+）
  • AI 尝试效果（5+）

发布决策逻辑

为所有维度评分后，使用此决策树：

IF any gate dimension (Clarity, Scaffolding, Layer) < 7:
  → REVISE: Content not ready
  → Fix the failing dimension(s)
  → Re-evaluate

ELSE IF (Engagement < 6) AND (Hands-On < 6):
  → CONDITIONAL PASS: Functional but needs improvement
  → Content is usable; improvements recommended
  → Can publish with revision plan

ELSE IF any important dimension (Objectives, Assessment, Load) < 5:
  → CONDITIONAL PASS: Missing elements but learnable
  → Flag for revision; can publish

ELSE:
  → PASS ✅: Ready for publication
  → All gate dimensions 7+
  → Most important dimensions 6+
决策示例

章节评估结果：

  • 清晰度：8 ✅
  • 脚手架：7 ✅
  • 层级适配度：8 ✅
  • 参与度：5（低于理想水平）
  • 认知负荷：7 ✅
  • 学习目标：6 ✅
  • 评估：7 ✅

决策：通过 ✅ — 所有门槛维度均为 7+。参与度偏低，但结构扎实。建议：在下一次修订中添加更吸引人的示例。

第 4 步：差距分析

评分后，找出具体缺失的要素：

内容差距
  • 缺少示例（讲授了概念，但没有演示）
  • 缺少动手实践（只有理论，没有练习）
  • 缺少“为什么”（只讲是什么，没有说明其重要性）
  • 缺少故障排查（只涵盖顺利的操作流程）
  • 缺少过渡（各节课之间缺乏衔接）
结构差距
  • 缺少开篇引子
  • 缺少贯穿始终的示例
  • 缺少“下一步”收尾内容
  • 缺少可视化元素（只有文字，没有图表或表格）
  • 技术内容缺少代码示例
教学差距
  • 未对学习目标进行评估
  • 未处理认知负担过重的问题
  • 层级不匹配（内容与声明的层级不符）
  • 前置条件实际上并非前置条件
  • “借助 AI 尝试”的提示词与内容脱节
第 5 步：生成改进建议

针对每项差距，提供：

  1. 问题：缺少什么或哪里有误
  2. 影响：对学习有何影响（高／中／低）
  3. 修复方案：采取哪些具体措施来解决
  4. 工作量：预计投入（低：<30min，中：30-90min，高：>90min）
  5. 优先级：1（关键），2（重要），3（锦上添花）

输出格式

按以下结构生成分析：

# Chapter Evaluation: [Chapter Name]

## Executive Summary

[1 paragraph: Overall quality assessment, key strengths, critical issues, recommendation]

## Student Analysis

### Scores

| Dimension   | Score              | Verdict            |
| ----------- | ------------------ | ------------------ |
| Engagement  | X/10               | [One-line summary] |
| Length      | [Short/Right/Long] | [One-line summary] |
| Clarity     | X/10               | [One-line summary] |
| Hands-On    | X/10               | [One-line summary] |
| Progression | X/10               | [One-line summary] |
| Confidence  | X/10               | [One-line summary] |

**Overall Student Experience**: X/10

### Detailed Findings

[Specific observations per dimension with examples from content]

### Student Pain Points

1. [Specific issue from student perspective]
2. [Specific issue from student perspective]
   ...

## Teacher Analysis

### Scores

| Dimension             | Score | Verdict            |
| --------------------- | ----- | ------------------ |
| Learning Objectives   | X/10  | [One-line summary] |
| Cognitive Load        | X/10  | [One-line summary] |
| Scaffolding           | X/10  | [One-line summary] |
| Layer Appropriateness | X/10  | [One-line summary] |
| Try With AI           | X/10  | [One-line summary] |
| Assessment            | X/10  | [One-line summary] |

**Overall Pedagogical Quality**: X/10

### Detailed Findings

[Specific observations per dimension with examples from content]

### Pedagogical Concerns

1. [Specific issue from teacher perspective]
2. [Specific issue from teacher perspective]
   ...

## Gap Analysis

### Content Gaps

| Gap               | Lesson(s) | Impact       |
| ----------------- | --------- | ------------ |
| [Missing element] | L0X       | High/Med/Low |

...

### Structural Gaps

| Gap               | Lesson(s) | Impact       |
| ----------------- | --------- | ------------ |
| [Missing element] | L0X       | High/Med/Low |

...

### Pedagogical Gaps

| Gap               | Lesson(s) | Impact       |
| ----------------- | --------- | ------------ |
| [Missing element] | L0X       | High/Med/Low |

...

## Improvement Recommendations

### Priority 1 (Critical)

| #   | Problem | Fix      | Effort       | Lesson(s) |
| --- | ------- | -------- | ------------ | --------- |
| 1   | [Issue] | [Action] | Low/Med/High | L0X       |

...

### Priority 2 (Important)

| #   | Problem | Fix      | Effort       | Lesson(s) |
| --- | ------- | -------- | ------------ | --------- |
| 1   | [Issue] | [Action] | Low/Med/High | L0X       |

...

### Priority 3 (Nice-to-Have)

| #   | Problem | Fix      | Effort       | Lesson(s) |
| --- | ------- | -------- | ------------ | --------- |
| 1   | [Issue] | [Action] | Low/Med/High | L0X       |

...

## Publication Decision

### Gate Status

| Gate           | Dimension             | Score | Status |
| -------------- | --------------------- | ----- | ------ |
| 🚧 BLOCK if <7 | Clarity               | X/10  | ✅/❌  |
| 🚧 BLOCK if <7 | Scaffolding           | X/10  | ✅/❌  |
| 🚧 BLOCK if <7 | Layer Appropriateness | X/10  | ✅/❌  |

### Publication Verdict

**Status**: [PASS ✅ | CONDITIONAL | REVISE]
**Recommendation**: [Ready for publication | Fix gates first | Needs revision plan]

## Next Steps

If PASS:

- [ ] Ready for publication
- [ ] Note: Optional improvements in Priority 3 section above

If CONDITIONAL:

- [ ] Content is functional
- [ ] Recommended: Address Priority 1 issues in next iteration
- [ ] Can publish now; plan revision cycle

If REVISE:

- [ ] STOP: Fix gate dimensions first
- [ ] [Gate dimension 1]: [Specific action]
- [ ] [Gate dimension 2]: [Specific action]
- [ ] Use remediation skills: [skill-1, skill-2]
- [ ] Re-evaluate after fixes

## Summary Metrics

| Metric             | Value   |
| ------------------ | ------- |
| Total Lessons      | X       |
| Average Word Count | X       |
| Student Score      | X/10    |
| Teacher Score      | X/10    |
| Overall Score      | X/10    |
| Gate Pass?         | Yes/No  |
| Critical Issues    | X       |
| Estimated Fix Time | X hours |

质量参考

将评估章节与高质量的参考课程进行比较。如果有可用的参考课程，skill 应自动从第 1 部分或第 6 部分中找出并阅读一篇参考课程。

需要关注的参考课程示例：

  • 01-agent-factory-paradigm/01-digital-fte-revolution.md
  • 33-introduction-to-ai-agents/01-what-is-an-ai-agent.md

资源

references/

详细评分标准请参阅 references/：

  • student-rubric.md - 详细的学生视角评估标准
  • teacher-rubric.md - 详细的教师视角评估标准
  • word-count-benchmarks.md - 按课程类型划分的字数指南

评论

支持 Markdown