mcpField
M
model-card

model-card

github.com/aperivueドキュメント35383 回インストール1 日前に更新
リポジトリ

model-card について

医用画像モデルのエンジニア向けの文書作成スキルです。提供された事実から Model Card とデータセット Datasheet を作成し、METRIC に基づくデータ品質レビューを行います。未知の情報を補わず、必須項目の不足を機械的に検出します。

主な機能

  1. 01Model Card の作成
  2. 02データセット Datasheet の作成
  3. 03METRIC に基づく品質レビュー
  4. 04必須項目とプレースホルダーの確認
  5. 05不明情報のマーカー維持

活用シーン

  1. 01学習済みモデルの文書化
  2. 02リポジトリや論文補足資料の準備
  3. 03カードとデータシートの完全性確認

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/aperivue/medsci-skills --skill model-card

インストール後、Claude Code で/model-cardを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

skill.yml
references/
datasheet_template.md
metric_dimensions.md
model_card_template.md
scripts/
check_model_card_complete.py
scripts/check_model_card_complete_challenge/
problem.md
verify.sh
scripts/check_model_card_complete_challenge/fixture/complete/
DATASHEET.md
MODEL_CARD.md
scripts/check_model_card_complete_challenge/fixture/incomplete/
MODEL_CARD.md
tests/
test_model_card_complete.sh

詳細

モデルカードスキル

目的

このスキルは、エンジニアが構築した医用画像モデルに必要なドキュメントを作成します。具体的には、モデルカード（意図された用途、対象範囲外の用途、トレーニングデータ、サブグループごとの性能、注意事項）、データセットのデータシート（由来、構成、収集、ラベリング、同意）、およびMETRICに基づくデータ品質チェックです。テンプレートにはユーザーが提供した事実のみを記入します。数値、由来の詳細、同意状況、ライセンスを決して捏造しません。また、必須セクションが欠落していたり、未入力の [NEEDS INPUT] プレースホルダーが残っていたりしないことを確認する、決定論的なゲートも備えています。

これは、モデルエンジニアリング工程におけるレポート作成の接点です。/model-assessment で設計を監査し、数値を算出した後、このスキルでそれらを持ち運び可能で監査可能なカードに記録します。このカードは /write-paper と /check-reporting で使用されます。構造的には /version-dataset（生成＋決定論的な検証）に対応しています。

使用する場面

  • トレーニング済みモデルについて、リポジトリ、Hugging Face のカード、または論文の補足資料用のモデルカード／データシートが必要な場合。

使用しない場面

  • 検証設計／指標の監査 → /model-assessment。
  • データセットのバイト列のバージョン管理 → /version-dataset。表形式の変数ドキュメント → /generate-codebook。
  • 論文が報告ガイドラインに各項目ごとに準拠しているかの確認 → /check-reporting。
  • モデルの構築／トレーニング → /model-scaffold。

ワークフロー

フェーズ 1 — 事実を収集する

ユーザー／モデルの開発者から、タスク、アーキテクチャ、由来、ライセンス、意図された用途と対象範囲外の用途、トレーニングおよび評価コホート、参照基準と読影者間一致度、全体およびサブグループごとの性能、データの収集、同意、匿名化に関する情報を収集します。提供されていない情報はすべて [NEEDS INPUT] のままにし、決して推測しません。

フェーズ 2 — モデルカードに記入する

${CLAUDE_SKILL_DIR}/references/model_card_template.md を MODEL_CARD.md にコピーし、事実に基づいて各セクションに記入します。見出しはそのまま残します。数値は /model-assessment または実行済みの結果からのみ使用します。

フェーズ 3 — データシートに記入する

${CLAUDE_SKILL_DIR}/references/datasheet_template.md を DATASHEET.md にコピーし、7つの質問グループ（動機、構成、収集、前処理／ラベリング、用途、配布、保守）に記入します。

フェーズ 4 — METRIC データ品質チェック

${CLAUDE_SKILL_DIR}/references/metric_dimensions.md にある項目（完全性、正確性、一貫性、代表性、適時性、由来、ラベルの由来、公平性／カバレッジ、リークの安全性）を確認し、各所見をデータシートに記録します。主要指標の妥当性に影響する項目は /model-assessment の所見にも該当するため、そこで照合します。

フェーズ 5 — 完全性を検証する（決定論的ゲート）
python3 ${CLAUDE_SKILL_DIR}/scripts/check_model_card_complete.py \
  --card MODEL_CARD.md --datasheet DATASHEET.md --strict

カードの提出前に、MISSING_SECTION／EMPTY_REQUIRED_SECTION／UNFILLED_FIELD がゼロでなければなりません。 UNFILLED_FIELD は、必須セクション内で [NEEDS INPUT]／[VERIFY] のまま残っている各フィールド（ライセンスやサブグループ別の性能など）を、同じセクション内の別のフィールドが記入済みであっても列挙します。明示的な N/A／None は、フィールド全体の値として記入されている場合に限り回答として扱います。また、「意図された用途」、「トレーニングデータ」、「評価データ」、「指標」、「定量分析」では、回答として扱いません。テンプレートに記載されたトークン（[NEEDS INPUT ...]、[VERIFY]、[VERIFY: ...]、大文字表記）のみが対象です。[verify the protocol](https://...) や [Verify][ref] などの Markdown リンクテキスト、および HTML コメントやフェンス付きコードブロック内の記述は、プレースホルダーではありません。 既知の制限：手書きの TODO／TBD／<...>／XXXX がフィールドに残っていても、セクション全体が未入力の場合にのみ検出されます。未入力のフィールドには、テンプレートの角括弧付き [NEEDS INPUT] マーカーを使用してください。

フェーズ 6 — 引き継ぐ

カードを /write-paper（Methods／補足資料で参照）、/check-reporting（論文の CLAIM 2024／TRIPOD+AI 項目監査）、および /self-review に引き継ぎます。

ハルシネーションの防止

  • 評価値、サブグループの結果、データセットの来歴を決して捏造しないでください。 すべての数値は /model-assessment またはユーザーが実行した結果に基づきます。また、来歴、同意、ライセンスに関する記述は すべてユーザーが確認したものです。不明な場合は [NEEDS INPUT] とし、ゲートでフラグが立てられます。
  • ユーザーから提供された内容なしに、セクションを完了扱いにしないでください。 また、ゲートを 通過させるためにプレースホルダーを自動入力しないでください。
  • ユーザーが確認していないライセンスや同意の状態を断定しないでください。
  • ゲートが確認するのは項目の存在であり、正確性ではありません。カードが完成していても誤った数値が含まれる可能性があります。妥当性の確認は /model-assessment と人間の責任です。

決定論的なゲート

scripts/check_model_card_complete.py — 必須の Model Card ／ Datasheet の各セクションが存在し、空でないことを検証します（標準ライブラリを使用し、ネットワーク接続は不要）。再現可能なチャレンジ： bash ${CLAUDE_SKILL_DIR}/scripts/check_model_card_complete_challenge/verify.sh。

分類に関する注記

Model Cards（Mitchell ほか、2019 年）と Datasheets（Gebru ほか、2021 年）は文書化の標準であり、 臨床報告のガイドラインではありません。そのため、/check-reporting のカウント対象チェックリストには含めず、 references/ のテンプレート（カウント対象外）としてここに置いています。これは appraisal_tools/METRICS.md を別に管理しているのと同様です。 /check-reporting は引き続き、原稿レベルで CLAIM 2024 ／ TRIPOD+AI の項目を監査します。

境界

model-assessment (audit design + metrics)
  └─ model-card (this skill: Model Card + Datasheet + METRIC pass, completeness-gated)
       └─ write-paper + check-reporting (manuscript) ; version-dataset (dataset bytes)

コメント

Markdown 対応