artifact-release-packager

Artifact Release Packager

論文の成果物は、単なる GitHub リポジトリではありません。論文で主張している水準で、別の研究者が研究内容を理解し、実行し、信頼するために必要な資料一式です。

こんな場合に使用してください

• ユーザーがコード、データ、モデル、またはチェックポイントのリリースを準備している場合。
• ユーザーが成果物評価の手順を必要としている場合。
• 論文の表や図を再現するコマンドが必要な場合。
• ユーザーがリリース前に不足しているファイル、設定、ドキュメントを確認したい場合。
• リリースに機密情報、ライセンス制限のあるアセット、大容量アセット、または再配布できないアセットが含まれる可能性がある場合。

こんな場合には使用しないでください

• ユーザーが既存の結果を最初から最後まで検証したい場合。reproducibility-audit を使用してください。
• ユーザーがリリース前にコードベースの構成、ドキュメント作成、または簡素化を行いたい場合。research-codebase を使用してください。

ワークフロー

1. リリースで何を提供するかを定義する

成果物で何を実現するのかを明記します。

• 主な結果を正確に再現する
• 傾向をおおよそ再現する
• 小規模なスモークテストを実行する
• 学習済みモデルや出力を確認する
• データセット／前処理パイプラインを再利用する
• 所定の時間内で成果物評価を行えるようにする

パッケージで約束する内容は、実際に提供できる範囲を超えないようにしてください。

2. 論文の主張と成果物を対応付ける

主要な結果ごとに、次の項目を特定します。

• 論文内の場所：表、図、または主張
• 必要なコードのエントリーポイント
• 設定ファイル
• データの依存関係
• モデル／チェックポイントの依存関係
• 期待される出力
• 想定される実行時間／ハードウェア
• 既知のばらつきや非決定性

結果を対応付けられない場合は、リリース上の不足として記録します。

3. リリース内容の一覧を作成する

次の項目を確認します。

• クイックスタートと再現方法の案内を含む README
• 環境ファイルまたはインストール手順
• 必要に応じて固定された依存関係のバージョン
• データのダウンロードまたはアクセス手順
• 前処理スクリプト
• 学習／評価スクリプト
• 報告された実行結果に対応する設定
• チェックポイント、またはその入手手順
• 期待される出力またはチェックサム
• ライセンスファイル
• 該当する場合は引用情報ファイル
• プライバシーや再配布に関する注意事項

4. レビュアー向けの手順を設計する

成果物のレビュアーや将来の読者が最初に必要とする手順は、短くまとめます。

1. 環境をインストールする
2. スモークテストを実行する
3. 小規模な結果を1つ再現する
4. 主な結果を再現または確認する
5. 全実行にかかるコストを把握する

最初に成功するまでに、コストの高い実験をすべて実行する必要がある構成にしないでください。

5. リリースの安全性を確認する

次の項目に注意します。

• シークレットや認証情報
• 非公開のパスやユーザー名
• 再配布できないデータセット
• リリースを制限するモデルライセンス
• 個人を特定できる情報
• 別の場所でのホスティングが適した大容量ファイル
• コミットすべきでない生成ファイル

出力形式

# Artifact Release Plan

## Release promise

## Claim-to-artifact map
| Paper claim/result | Required artifact | Command/config | Expected output | Status |
|---|---|---|---|---|

## Required package contents

## Smoke test path

## Full reproduction path

## Safety/licensing concerns

## Missing pieces

## Release README outline

品質基準

優れた成果物パッケージなら、懐疑的な研究者でも「このリリースで何ができるのか」「どう実行するのか」「何を期待すべきか」「どのような制約があるのか」をすぐに把握できます。