mcpField
A
ai-research-reproduction

ai-research-reproduction

github.com/lllllllamaドキュメント486339.8k 回インストール5 週間前に更新
リポジトリ

ai-research-reproduction について

ai-research-reproduction は、主に README に基づいて深層学習論文の再現を行うエージェントスキルです。検証可能な最小限の信頼できる実行を目指し、前提、逸脱、ブロッカーを結果を通すために隠すのではなく記録します。

主な機能

  1. 01README 優先の再現ワークフロー
  2. 02最小限の信頼できる対象の選択
  3. 03コマンドとログを含む証跡パッケージの作成
  4. 04検証済みの事実と推論の区別
  5. 05科学的な変更と比較可能性の明示的な記録

活用シーン

  1. 01README に記載された推論や評価コマンドの再現
  2. 02実験結果の論文との比較可能性の監査
  3. 03限定的な学習起動や部分的検証の証跡保存

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/lllllllama/rigorpilot-skills --skill ai-research-reproduction

インストール後、Claude Code で/ai-research-reproductionを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

_bundled/
MANIFEST.json
_bundled/shared/scripts/
agent_provider.py
command_utils.py
lessons_store.py
model_adapter.py
resource_monitor.py
runtime_runner.py
task_queue.py
write_explore_bundle.py
write_run_bundle.py
_bundled/skills/analyze-project/scripts/
analyze_project.py
_bundled/skills/env-and-assets-bootstrap/scripts/
plan_setup.py
prepare_assets.py
_bundled/skills/minimal-run-and-audit/scripts/
write_outputs.py
_bundled/skills/repo-intake-and-plan/scripts/
extract_commands.py
scan_repo.py
_bundled/skills/run-train/scripts/
run_training.py
write_outputs.py
agents/
openai.yaml
assets/
COMMANDS.template.md
LOG.template.md
model_profile.template.json
PATCHES.template.md
readme_annotations.template.json
status.template.json
SUMMARY.template.md
references/
agent-job.md
agent-operating-principles.md
agent-runner.md
architecture.md

詳細

ai-research-reproduction

目的

README を起点としたディープラーニングの再現を、証拠を監査できる、信頼性を確保できる最小限の実行へ導きます。文書に記載された意味を維持し、成功を作り出すために意味を変えるのではなく、前提、相違点、阻害要因を記録します。専門的なリファレンスは、具体的な不確実性がある場合に限って読み込みます。

最短手順

定型的で範囲の限られた実行では、制御フローを簡潔に保ちます。

  1. 対象の README と、記載されたコマンドを理解するために必要な対象のテスト／設定／ソースのみを読みます。
  2. ユーザーが明示したタイムアウト上限（--timeout または --train-timeout）がある場合は、あらかじめ指定して scripts/orchestrate_repro.py --repo <repo> --plan-only --agent-output を実行します。command_candidates、選択された cmd-XX、副作用の契約、選択フィンガープリント、返された reviewed_run_args を確認します。--output-dir を指定しない場合、後続の証拠は呼び出し元の作業ディレクトリに関係なく、<repo>/repro_outputs に保存されます。
  3. 選択された候補、またはレビュー済みの別の候補を、要求されたタイムアウト／メトリクス／ソースに隣接するオプションとともに --run-selected --command-id <cmd-XX> --plan-fingerprint <fingerprint> --agent-output で実行します。明示されたユーザー指定のコマンドタイムアウト上限は、信頼できる定型実行では、暗黙にさらに厳しい値へ変更せず維持します。--timeout は対象コマンドに適用されます。子プロセスを終了させ、最終的な証拠を書き込む時間が必要なため、オーケストレーター全体を同じかそれより短い外部タイムアウトでラップしないでください。コマンドのセットが変わった場合はフェイルクローズし、セットアップ／ダウンロード用コマンドは対象候補になりません。
  4. --verify-output --agent-output を実行します。検証に失敗した場合、または結果が部分的／ブロック状態の場合に限り、詳細な証拠ファイルを確認します。
  5. 範囲を限定した結果を提示し、終了します。

ツール呼び出しの制限時間が短いホストでは、--include-agent-handoff を指定して計画を再実行し、references/agent-job.md に従います。それ以外の場合は、上記の直接的な手順を維持します。ジョブの完了はタスクの受け入れを意味せず、状態が不確かな場合も、自動的に再実行する理由にはなりません。

通常の成功手順では、orchestrate_repro.py、annotate_readme.py、_bundled/、ライター、ランタイム内部を調べないでください。実装の調査は、具体的な阻害要因、予期しない副作用、バンドルの整合性の失敗、または未解決の安全上の疑問がある場合に限ります。初回使用時の環境／インストール診断には scripts/doctor.py を使用します。実行したコマンドのライフサイクル全体の証拠／ログは、repro_outputs/_runtime/<run_id>/ に保存されます。

適用範囲

リポジトリに基づく、複数段階の信頼できる再現で、目標が小規模で再現可能な対象である場合にこのスキルを使用します。論文の要約、一般的なセットアップ、単独のスキャン、スタンドアロンコマンド、範囲が定まらない研究設計、または明示的に許可された候補探索には使用しないでください。

信頼できる対象の選定

リポジトリに基づく再現を誠実に実証できる最小の対象を選びます。

  1. 文書に記載された推論
  2. 文書に記載された評価
  3. 文書に記載された学習の開始、または部分的な検証
  4. ユーザーが明示的に確認した場合に限り、学習全体を実行

再現の主な意図として、README のガイダンスを扱います。リポジトリ内のファイルは README の内容を明確にするために使用し、暗黙に置き換えるためには使用しません。README と論文の内容が矛盾する場合は、その矛盾を記録し、再現に不可欠な限定的な不足を補う場合に限って paper-context-resolver を使用します。

ワークフロー

  1. README のガイダンスを最優先し、信頼できる最小限のターゲットを抽出して選択します。
  2. setup／assets はターゲット固有の前提条件に限って使用し、構造の確認が必要な場合にのみ analyze-project を使用します。
  3. 推論／評価／スモークテストには minimal-run-and-audit、トレーニングの開始／キックオフ／再開には run-train を使用します。デフォルトでは直接実行します。
  4. 本格的なトレーニングや、データセット、分割、チェックポイント、前処理、メトリクス、損失、モデルの動作、解釈に変更を加える前に、一旦停止します。
  5. result-match は、明示された期待メトリクスと許容範囲に照らしてのみ判定します。処理の成功だけでは再現の成功とはなりません。
  6. エビデンス一式を作成し、依頼された範囲内の結果を返して終了します。オプションのステージを自動的に後続作業として実行してはいけません。

パッチの範囲

リポジトリの編集はできるだけ避けてください。編集が必要な場合は、慎重に行い、監査可能な状態にしてください。

  • コードを変更する前に、コマンドライン引数、環境変数、パスの修正、依存関係のバージョン修正、依存関係ファイルの修正を試してください。
  • 必要な場合は再現性のための修正を行えますが、隠してはいけません。変更内容、必要だった理由、科学的な意味を変えるかどうか、論文、README、ベースラインとの比較可能性に影響するかどうかを明記してください。
  • モデルアーキテクチャ、推論の中核となる動作、トレーニングロジック、損失関数、実験の意味を変更しないでください。
  • リポジトリのファイルを変更する必要がある場合は、repro/YYYY-MM-DD-short-task という名前のブランチを作成し、検証済みパッチのコミット数を最小限に抑え、README への忠実度に対する影響を PATCHES.md に記録してください。

references/patch-policy.md を参照してください。

出力

常に repro_outputs/ を出力先にしてください。

SUMMARY.md
COMMANDS.md
LOG.md
SCIENTIFIC_CHANGELOG.md
COMPARABILITY_REPORT.md
status.json
ANNOTATED_README.md   # original README + colored per-section agent-action annotations
PATCHES.md   # only if patches were applied

assets/ と references/output-spec.md にあるテンプレートを使用してください。要約は短くし、コマンドはコピー可能な形式にし、マシンの状態を安定させ、科学的な意味や比較可能性に関わる変更を明記してください。ANNOTATED_README.md は、挿入したエビデンスブロック以外の部分を元の README とバイト単位で一致させ、ブロックを取り除いた後のチェックに合格する必要があります。--source-adjacent-readme は、自身が所有する RIGORPILOT_README.md に限って使用し、無関係なファイルを置き換えてはいけません。検証済みの事実と推論を区別してください。

リファレンスの読み込み

  • ワークフロー上の判断：references/agent-operating-principles.md。
  • 人が読む出力：references/language-policy.md。
  • 科学的な厳密性／比較可能性に関する判断：references/research-rigor-principles.md、実験の詳細が重要な場合は references/deep-learning-experiment-principles.md。
  • プロトコルに関わる変更：references/research-safety-principles.md および references/patch-policy.md。
  • 個人的な厳密性や教訓は参考情報に限ります。専門的な詳細は、このエントリーポイントを拡張するのではなく、リファレンス／スクリプトに記載してください。

コメント

Markdown 対応