IRP

重要

IRP は Noshadi-sec/irp または PyPI の irp-agents パッケージから入手してください。 インストールとリリースに関するリンクは、これらの公式ソースからたどってください。名前が似たリポジトリやコピーされた README は、ダウンロード元が公式であることの証明にはなりません。

---

コードのない論文や、信頼できないコードしかない論文を見つけましたか？IRP を使って実装するよう、エージェントに依頼してください。エージェントは論文を読み、主張する数値をすべて記録し、実装を書いて実行し、結果を比較します。取得、実行、記録は IRP が行い、近道は認めません。手入力した数値は認められず、短縮した実行も認められません。レポートは証拠ログだけをもとに作成されます。

IRP は、論文の取り込み、環境、実行、測定、判定のためのツールを通じて、エージェント（Claude Code、Codex、Cursor）と連携します。同じツールをターミナルから使うこともできます。すべてローカルで動作し、IRP がモデルを呼び出すことはなく、データは送信先として指定した場所にのみ送られます。

クイックスタート

エージェントをセットアップする

uvをインストールしたら、次を実行します。

uvx irp-agents setup

エージェントを選択し、提案された変更を確認して承認してください。セットアップでは、既存の設定をバックアップしたうえで、IRP の MCP サーバーとワークフロー用スキルを追加します。その後、エージェントを再起動してください。

セットアップは Claude Code、Codex、Cursor に対応しています。その他の MCP クライアントは手動登録を利用できます。

エージェントに依頼する

Build arXiv 2501.12345 and check Table 2.

動作するコードのフォルダーとレポートが得られます。レポートには、各主張、論文の数値、実行結果の数値、判定が記載されます。

ターミナルを使う

すべてのツールはコマンドとしても利用できます。論文を新しい研究に取り込み、概要を読み取るには、次を実行します。

irp fetch 2501.12345 --study ~/studies/example
irp section index --study ~/studies/example

irp コマンドを継続的に使うには、次の方法でインストールします。

uv tool install irp-agents
irp --help

ターミナルでの全ワークフローについては、CLI ガイドをご覧ください。

準備状況を確認する

irp doctor

Doctor は Python、uv、git、Docker、GPU、ディスク容量、エージェントの登録状況を確認します。変更は行いません。

IRP を更新する

IRP は頻繁に更新されます。インストール済みのコマンドを更新するには、次を実行します。

irp update

uvx を使っている場合は、uvx irp-agents@latest setup でエージェントのセットアップを更新し、計画を確認してからエージェントを再起動してください。

IRP の仕組み

エージェントが考え、IRP が実行して証跡を残します。エージェントは論文を読み、コードを書き、実行する内容を決定します。すべての操作はひとつのコアを経由するため、CLI と MCP サーバーは同じように動作し、すべてのステップが追記専用のハッシュチェーン型証拠ログに記録されます。レポートはそのログだけをもとに作成されます。

段階	ツール	内容
取り込み	fetch_paper	arXiv の LaTeX ソースまたは PDF をダウンロードしてハッシュを計算し、セクションに分割します
取り込み	get_section, get_page_image	ファイル名と行番号付きでセクションのテキストを返すか、数式や図を確認するためにページを画像として返します
主張	add_claim, list_claims	各主張について、指標、値、記載箇所、成功基準を記録します
計画	add_guess	不足している詳細、採用した選択、その理由を記録します
計画	map_method	数式やアルゴリズムの手順をファイルと行に紐付けます
構築	create_env	uv 環境または Docker イメージを作成し、ロックファイルを書き込みます
実行	run, run_status	コマンドをひとつ実行し、出力、終了コード、時間、メモリ、シード、コミット、ファイルを保存します
実行	run_remote	費用の見積もりと承認の後、有料 GPU プロバイダー上で同じ処理を実行します
測定	extract_metrics	ログと結果ファイルから、ファイル名と行番号付きで数値を抽出します
判定	compare, add_note	主張と測定値を並べ、4 種類の判定のいずれかを付けます
レポート	report, verify, study_status	ログから report.md と report.json を作成し、ハッシュチェーンを再検証します

ワークフロースキルはエージェントに6つの厳格なルールを課し、ツールは可能な範囲でそれらを徹底します。

1. 結果の数値を入力、推定、転記してはいけません。
2. 実行を成功させるために論文の手法を変更してはいけません。代わりに推測を記録してください。
3. 無理に続行せず、実行を妨げているエラーとともに「実行できなかった」と報告してください。
4. まず忠実性を保った最小構成で実行してください。短縮した実行は結果として認められません。
5. コードを書く前に、すべての主張を記録してください。
6. 有料の計算リソースを使う前に確認してください。

レポート

レポートが成果物です。エージェントを信頼しなくても、誰もがすべての判定を確認できなければなりません。レポートは5つの部分で構成されます。主張の一覧表、4種類の判定（再現、ほぼ再現、再現できず、実行できず）、推測の一覧、数式とコード行を対応付けた手法マップ、そして来歴情報（arXiv ID とバージョン、ファイルのハッシュ、git コミット、ロックファイル、GPU、シード、終了コード付きのすべてのコマンド、ハッシュチェーンを再検証する verify コマンド）です。

すべての主張に証拠付きの判定が付くまで、エージェントは処理を完了できません。

report.md の例（架空の数値）：

# Reproduction report: Example Paper (arXiv 2501.12345v2)

Result: 2 reproduced, 1 close, 1 could not run (of 4 claims)

| Claim | Where | Paper | Ours | Verdict |
| --- | --- | --- | --- | --- |
| c1 Test accuracy | Table 2, row 3 | 94.1% | 93.8% (3 seeds, std 0.2) | close |
| c2 Training loss | Figure 4 | 0.31 | 0.31 (3 seeds) | reproduced |
| c3 Speed-up | Section 5.2 | 2.0x | 2.1x | reproduced |
| c4 ImageNet top-1 | Table 3 | 81.2% | not run: needs 8 GPUs for 2 days | could not run |

## Guesses
- g1 Warmup length not stated: used 5 epochs. Why: as in cited paper [12].

## Method map
- Eq. 3 (loss) -> code/src/loss.py:41
- Algorithm 1, line 4 -> code/src/train.py:88

## Provenance
- Paper: arXiv 2501.12345v2, source and PDF hashes
- Code: git commit 3f2a9c1 (clean)
- Commands logged: 37, 37 with an exit code
- Evidence log: 112 records, head sha256:…, verified
- Verify: `irp verify --study ~/studies/example`

各フィールドについては、証拠とレポートを参照してください。

再現できるもの

IRP を使用するには、macOS または Linux 上で Python 3.11 以降が必要です。論文に応じて、追加のツールが必要になります。

必要なもの	IRP が使用するもの	要件とガイド
論文の取り込み	まず arXiv の LaTeX ソースを使用し、利用できない場合は PDF を使用します。数式や図にはページ画像を使用します	arXiv へのネットワークアクセス。論文の取り込み
PDF の構造化精度の向上	テキストと表の解析に Docling を使用します	オプションの irp-agents[docling]。論文の取り込み
環境	ロックファイル付き uv 仮想環境、または隔離用の Docker イメージ	uv または Docker。環境
計算リソース	CPU または GPU。費用の見積もりと承認の後、Modal GPU サンドボックスも利用できます（実験的）	オプションの irp-agents[modal]。計算リソース
エージェント	Claude Code、Codex、Cursor。任意の MCP クライアントを手動で使用することもできます	インストール

IRP は、機械学習、アルゴリズム、シミュレーションなどの計算論文に対応しています。ウェットラボでの研究や、武器に関連するものには対応していません。

ベンチマーク

軽量な論文を5本選びました。公式コードがあり、それぞれCPUで数分以内に実行できます。論文だけをもとに再構築し、主張を一つずつ検証しました。すべての数値は検証済みのエビデンスログに基づいています。irp verify --study benchmarks/studies/<name> で任意の研究を再検証できます。

論文	主張	結果
Fashion-MNIST (1708.07747)	3	1件を再現、1件は近似、1件は未再現
KMNIST (1812.01718)	2	どちらも再現
MNIST-1D (2011.14439)	1	再現
fastText (1607.01759)	1	再現（92.86% 対 92.5%）
QMNIST (1905.10498)	1	再現（2.95% 対 2.95%）

8件の主張のうち、**6件を再現、1件は近似、1件は未再現（87.5%を再現または近似）**しました。論文1本あたり約160秒、課金対象の計算リソースは0ドルです。選定基準と全論文の一覧はbenchmarks/golden/papers.jsonに、プロトコルと summarize.py はbenchmarks/にあります。

IRPで論文を実装した場合は、論文、質問、見つけたことを添えてissueでレポートを共有してください。

FAQ

IRPを使用できるエージェントはどれですか？

ローカル MCP サーバーに対応しているエージェントであれば、どれでも使用できます。セットアップでは Claude Code、Codex、Cursor を設定します。それ以外のクライアントでは手動登録を使用できます。

IRPはAIモデルを呼び出したり、論文をアップロードしたりしますか？

いいえ。アシスタントの頭脳となるのはエージェントです。IRPがモデルを呼び出すことはなく、APIキーも必要ありません。arXivから論文をダウンロードし、uvまたはDockerでパッケージをインストールして、お使いのマシン上でコードを実行します。エージェントはツールの実行結果を受け取ります。モデルプロバイダーには独自のデータポリシーがあります。

論文のコードを実行しても安全ですか？

コードを実行することには、常にリスクが伴います。uvの仮想環境はサンドボックスではなく、コードはお使いの権限で実行されます。自分で書いていない、または信頼できないコードには、backend: "docker" を指定して create_env を使用してください。実行時にマウントされるのは、その研究のコードディレクトリのみです。セキュリティを参照してください。

「未再現」とはどういう意味ですか？

記録された推測値を使った今回の実行では、定められた基準の範囲内で論文の数値に到達できなかったという意味です。レポートでは「この実行では未再現」と記し、すべての推測値を列挙しています。これは1回の試行についてのエビデンスであり、論文への判定ではありません。公開する前に、著者に連絡してください。

論文に公式コードがあります。それでもIRPを使うべきですか？

IRPは、論文から不足しているコードを構築します。既存のコードでREADMEの数値が再現されるかを確認するには、paper-reproのようなツールがより適しています。IRPは、論文のコードを隠して論文を検証し、後から再構築したものと比較する用途にも役立ちます。

IRPで費用が発生することはありますか？

有料GPUプロバイダーを利用する場合に限り、端末で irp budget を使って価格と予算を記録し、エージェントが提示する見積もりを承認した後に限り、費用が発生することがあります。実行時間の上限は、見積もられた時間と同じです。

バグが発生した場合はどうすればよいですか？

まずアップデートしてください。最近のリリースですでに修正されている可能性があります（irp update または uvx irp-agents@latest setup）。問題が解決しない場合は、お使いのIRPのバージョン、irp doctor --json の出力、再現手順、エラーを添えてissueを作成してください。

## ドキュメント

• インストールとセットアップ：エージェントの登録、更新、アンインストール。
• CLI：すべてのコマンド、出力、終了ステータス。
• MCP コントラクトとエージェントのプロンプト：ツールの結果、エラー、生成されたツールカタログ。
• エビデンスとレポート：ログ、ゲート、検証。
• 論文の取り込み、環境、コンピューティング。
• ベンチマーク：IRP の測定方法。
• ロードマップ：v0.1 から v1.0 までと、その間に設けられたゲート。

脆弱性は SECURITY.md から報告してください。

免責事項

責任ある使用に関するガイダンスは DISCLAIMER.md を参照してください。IRP は、合法的な研究、教育、および公開された計算研究の検証を目的としています。「再現されなかった」という判定は、ある実行についてのエビデンスであり、論文や著者に対する評価ではありません。

貢献

貢献を歓迎します。issue を作成してバグを報告したり、機能を提案したり、プルリクエストを送信したりしてください。

開発環境のセットアップとチェックについては CONTRIBUTING.md、検証レーンについてはテスト、プロジェクト構造についてはアーキテクチャマップを参照してください。

ライセンス

MIT

IRP が作成したコードは MIT ライセンスで提供されます。サードパーティの素材には、それぞれのライセンスと通知が適用されます。詳しくはサードパーティ通知を参照してください。論文とデータセットは著者のライセンスに従い、IRP が再配布することはありません。