mcpField
M
model-card

model-card

github.com/aperivue文档处理35383 次安装1 天前更新
代码仓库

关于 model-card

这是面向医学影像模型工程师的文档 skill，可根据用户提供的事实生成 Model Card 和数据集 Datasheet，并进行 METRIC 数据质量检查。它通过确定性检查确保必填内容齐全，不会补编未知信息。

主要功能

  1. 01生成 Model Card
  2. 02生成数据集 Datasheet
  3. 03执行 METRIC 数据质量检查
  4. 04检查必填章节与占位符
  5. 05保留未提供信息的标记

适用场景

  1. 01为已训练模型编写文档
  2. 02准备仓库或论文补充材料
  3. 03检查模型卡和数据表完整性

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/aperivue/medsci-skills --skill model-card

安装后在 Claude Code 中输入/model-card确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

skill.yml
references/
datasheet_template.md
metric_dimensions.md
model_card_template.md
scripts/
check_model_card_complete.py
scripts/check_model_card_complete_challenge/
problem.md
verify.sh
scripts/check_model_card_complete_challenge/fixture/complete/
DATASHEET.md
MODEL_CARD.md
scripts/check_model_card_complete_challenge/fixture/incomplete/
MODEL_CARD.md
tests/
test_model_card_complete.sh

详细介绍

模型卡技能

目的

此技能用于生成工程师构建的医学影像模型必须附带的文档：一份 模型卡（预期用途、范围外用途、训练数据、各亚组的性能、注意事项）、一份数据集的 数据说明表（来源、组成、收集、标注、同意），以及一轮 METRIC 指导的数据质量检查。它根据用户提供的事实填写模板——绝不编造数值、来源细节、同意状态或许可信息——并提供一个确定性门禁，确保没有遗漏必填章节，也没有未填写的 [NEEDS INPUT] 占位符。

它是模型工程流程中的报告环节：在 /model-assessment 审核设计并生成数值后，此技能会将其记录在可移植、可审计的模型卡中，供 /write-paper 和 /check-reporting 使用。它在结构上与 /version-dataset 一致（生成 + 确定性验证）。

适用场景

  • 训练好的模型需要为代码仓库、Hugging Face 模型卡或论文补充材料准备模型卡 / 数据说明表。

不适用场景

  • 审核验证设计 / 指标 → /model-assessment。
  • 对数据集字节进行版本管理 → /version-dataset；编写表格变量文档 → /generate-codebook。
  • 检查论文是否逐项符合报告指南 → /check-reporting。
  • 构建 / 训练模型 → /model-scaffold。

工作流

阶段 1 — 收集事实

向用户 / 模型开发者收集：任务 + 架构 + 来源 + 许可；预期用途和范围外用途；训练和评估队列；参考标准和阅片者间一致性；总体性能和各亚组性能；数据收集、同意和去标识化信息。任何未提供的信息都保留为 [NEEDS INPUT]——绝不猜测。

阶段 2 — 填写模型卡

将 ${CLAUDE_SKILL_DIR}/references/model_card_template.md 复制到 MODEL_CARD.md，并根据事实填写各个章节。保留标题。数值只能来自 /model-assessment / 已执行的结果。

阶段 3 — 填写数据说明表

将 ${CLAUDE_SKILL_DIR}/references/datasheet_template.md 复制到 DATASHEET.md，并填写七组问题（动机、组成、收集、预处理 / 标注、用途、分发、维护）。

阶段 4 — METRIC 数据质量检查

逐项检查 ${CLAUDE_SKILL_DIR}/references/metric_dimensions.md（完整性、正确性、一致性、代表性、时效性、来源、标签来源、公平性 / 覆盖范围、泄漏安全性），并在数据说明表中记录每项发现。任何影响核心指标有效性的事项也应作为 /model-assessment 的发现——请在那里交叉核查。

阶段 5 — 验证完整性（确定性门禁）
python3 ${CLAUDE_SKILL_DIR}/scripts/check_model_card_complete.py \
  --card MODEL_CARD.md --datasheet DATASHEET.md --strict

在发布模型卡前，MISSING_SECTION / EMPTY_REQUIRED_SECTION / UNFILLED_FIELD 必须均为零。 UNFILLED_FIELD 会列出必填章节中仍保留为 [NEEDS INPUT] / [VERIFY] 的每个字段（例如 License 或亚组性能），即使同一章节的其他字段已填写。只有明确填写为 N/A / None，且其值仅包含该内容时，才算作答；但 Intended Use、Training Data、Evaluation Data、Metrics 或 Quantitative Analyses 中不能使用。只有按原样书写的模板标记（[NEEDS INPUT ...]、[VERIFY]、[VERIFY: ...]，大写）才算占位符；Markdown 链接文本（例如 [verify the protocol](https://...) 或 [Verify][ref]），以及 HTML 注释或围栏代码块中的任何内容，都不算占位符。 已知限制：如果字段手写为 TODO / TBD / <...> / XXXX，只有在整个章节均未填写时才会被检测到；对于尚未填写的字段，请保留模板中的方括号 [NEEDS INPUT] 标记。

阶段 6 — 交接

将模型卡交给 /write-paper（在其中引用该卡的 Methods / 补充材料）、/check-reporting （审核论文中的 CLAIM 2024 / TRIPOD+AI 条目）和 /self-review。

防止幻觉

  • 绝不编造评估数值、子组结果或数据集来源。 每个数值都来自 /model-assessment 或用户执行的结果；每条来源／同意／许可声明都必须经用户确认。未知项 → [NEEDS INPUT]，门禁会对此标记。
  • **没有用户提供的内容，绝不将章节标记为已完成，**也绝不自动填入占位内容以通过门禁。
  • 绝不声明用户未确认的许可或同意状态。
  • 门禁检查的是内容是否存在，而非其真实性——完整的卡片仍可能包含错误数值；内容有效性由 /model-assessment 和人工负责。

确定性门禁

scripts/check_model_card_complete.py — 验证每个必需的 Model Card / Datasheet 章节均已填写且非空（仅使用标准库，无需联网）。可复现挑战： bash ${CLAUDE_SKILL_DIR}/scripts/check_model_card_complete_challenge/verify.sh。

关于分类的说明

Model Cards（Mitchell 等，2019）和 Datasheets（Gebru 等，2021）是文档标准，而非临床报告指南，因此它们在此作为 references/ 模板（不计入数量），而不是 /check-reporting 计数清单的一部分——这与单独存放 appraisal_tools/METRICS.md 的方式相同。 /check-reporting 仍负责审查论文层面的 CLAIM 2024 / TRIPOD+AI 条目。

边界

model-assessment (audit design + metrics)
  └─ model-card (this skill: Model Card + Datasheet + METRIC pass, completeness-gated)
       └─ write-paper + check-reporting (manuscript) ; version-dataset (dataset bytes)

评论

支持 Markdown