reproducibility-audit について
利用入手可能な成果物や手順をもとに、研究結果の再現性を確認するスキルです。実行と検証を行わない限り再現済みとはせず、障害と状況を記録します。
主な機能
- 01コード、データ、設定、バージョンの確認
- 02論文の主張と実行手順の対応付け
- 03曖昧さや障害の記録
- 04コマンドと出力の記録
- 05再現状況の分類と修正案
活用シーン
- 01論文の結果に依拠する前の再現性評価
- 02追試に必要な不足成果物の特定
- 03再現作業中の証拠と障害の記録
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/reproducibility-auditを入力して読み込まれたか確認します。
同梱ファイルreferences/good-enough-baseline.md
詳細
再現性監査
不足している要素を列挙するまでは、結果を再現できないものとします。
ワークフロー
-
再現する対象の結果を特定します。
-
必要な要素がそろっているか確認します。
- コード
- コミット／バージョンの固定
- データへのアクセス
- 設定ファイル
- 前処理の手順
- ハードウェアに関する前提
- シードの扱い
references/good-enough-baseline.mdでは、Good Enough Practices in Scientific Computing（Wilson ら、2017 年）に基づき、項目の有無を確認する具体的なチェックリスト（データの来歴、依存関係の固定、スモークテスト、バージョンの特定、決定性）を示しています。そこにある項目の欠落は、軽微な問題ではなく、指摘事項です。 -
論文の主張を、実行可能な手順に対応づけてみます。
-
曖昧な点や阻害要因を明確に記録します。
-
コードを実行する場合は、正確なコマンドと出力を記録します。
-
状況を分類します。
- 再現済み
- 一部再現
- 阻害あり
- 論文と不一致
-
再現性を確保するために必要な、最小限の修正を提案します。
ルール
- 実行して確認していない限り、「再現済み」としてはいけません。
- 設定の詳細が不足している場合は、軽微な問題ではなく指摘事項として扱います。
- コードが利用可能であることと、結果を再現できることを区別します。
出力形式
以下を返します。
- 対象の結果
- 利用可能な成果物
- 不足している成果物
- 再現状況
- コマンド／証拠
- 推奨される修正
コメント
Markdown 対応