artifact-evaluation-prep

Artifact 評価の準備

外部の Artifact 評価担当者が、論文で示された主張を曖昧さなく再現できるように、論文のコード、データ、チェックポイント、スクリプト、手順を整えます。

以下の場合にこのスキルを使用します。

• 会議やジャーナルで Artifact 評価、再現性バッジ、Artifact 付録が必須または任意となっている
• ユーザーが評価担当者向けのインストール、クイックスタート、デモ、再現手順を必要としている
• カメラレディ版または採択済み論文の Artifact パッケージを引き継ぐ必要がある
• コード、データ、チェックポイント、モデル、Docker イメージ、外部サービスをパッケージ化する必要がある
• 実行時間、ハードウェア、乱数シード、期待される出力、トラブルシューティングの説明を明示する必要がある
• 論文中の主張を、実行可能なスクリプトまたは公開済み Artifact に対応付ける必要がある

このスキルを一般的なコード公開のスキルとして使用しないでください。公開リポジトリの整備、ライセンス、CITATION ファイル、タグ、GitHub リリースには release-code を使用してください。このスキルは、評価担当者向けの Artifact 実行と主張の再現に使用します。

このスキルと併用するスキル：

• camera-ready-finalizer：採択論文に関する義務と、最終的な主張・根拠の状況を確認します
• release-code：Artifact に関する義務が明確になった後に、公開リポジトリを整備します
• reproducibility-audit：環境、データ、実行内容の差異について、より広範な監査が必要な場合に使用します
• run-experiment：再現用コマンドの生成やテストに使用します
• figure-results-review：Artifact の出力を論文の図表と照合する必要がある場合に使用します
• citation-audit：Artifact のメタデータでデータセット、コード、過去の Artifact を引用する場合に使用します
• research-project-memory：Artifact の状況、阻害要因、評価担当者向け手順を永続化する必要がある場合に使用します

スキルディレクトリの構成

<installed-skill-dir>/
├── SKILL.md
└── references/
    ├── artifact-audit.md
    ├── memory-writeback.md
    ├── package-manifest.md
    ├── report-template.md
    └── reviewer-instructions.md

段階的な読み込み

• references/artifact-audit.md、references/package-manifest.md、references/reviewer-instructions.md は必ず読みます。
• 保存する Artifact 評価レポートを作成する前に、references/report-template.md を読みます。
• プロジェクトに memory/ またはコンポーネントの .agent/ フォルダーがある場合、あるいはユーザーが状態の永続化を求めている場合は、references/memory-writeback.md を読みます。
• 会議やジャーナルの規則が関係する場合は、期限、バッジ名、匿名性の規則、アップロード項目、ページ制限、必須形式について断定する前に、最新の公式 Artifact 評価手順を確認します。

基本原則

• Artifact 評価は評価担当者のためのワークフローであり、単にコードをまとめて公開することではありません。
• Artifact は、論文の重要な主張を許容できるコストで再現するか、再現できない内容を明確に説明する必要があります。
• 壊れやすい多数のコマンドよりも、信頼できるクイックスタートと完全な再現手順をそれぞれ1つ用意することを優先します。
• 各コマンドについて、想定される実行時間、ハードウェア、入力、出力、成功条件を明記します。
• 再配布可能なデータ、チェックポイント、依存関係のみをパッケージ化し、制限のあるアセットについては正確に説明します。
• 匿名性、ライセンス、外部サービスに関する前提を明示します。
• スモークテストは必須として扱います。テストされていない手順書は Artifact パッケージではありません。

ステップ 1 - 評価コンテキストの確認

以下を収集します。

• 判明している場合は、会議やジャーナル、および Artifact 評価のトラック
• 公式の Artifact 手順、バッジ基準、匿名性ポリシー、アップロード方法
• 採択済みまたは投稿済みの論文、付録、補足資料、チェックリスト
• コードリポジトリ、コミットハッシュ、ブランチ、ワークツリー
• データセット、チェックポイント、事前学習済みモデル、生成済み出力、外部依存関係
• ハードウェア要件：CPU／GPU の種類、メモリ、ディスク、実行時間、ネットワークアクセス
• Artifact が裏付けるべき論文の主張、図、表、実験
• 制約事項：非公開データ、ライセンスの制限、大容量ファイル、クラウド依存関係、非決定性、評価担当者に許された時間

会議やジャーナルが指定されていない場合は、特定の会議やジャーナルに依存しない Artifact パッケージを作成し、会議やジャーナル固有の項目は未解決として明記します。

Step 2 - 主張を成果物のパスに対応付ける

論文に記載された主張または結果ごとに、以下を記録します。

• 主張または結果の ID
• 論文内の箇所
• 裏付けとなるスクリプト、ノートブック、設定、またはコマンド
• 入力データまたはチェックポイント
• 想定される出力ファイル、指標、表、または図
• おおよその実行時間とハードウェア
• 決定論的な許容誤差または想定されるばらつき
• 査読者向けの優先度：クイックスタート、コア、任意、またはパッケージでは再現不可

スモークテストまたはキャッシュされた出力しか提供していない場合に、完全に再現可能であるかのように示してはいけません。

Step 3 - 成果物マニフェストを作成する

references/package-manifest.md を読みます。

以下を記載したマニフェストを作成または更新します。

• リポジトリ URL またはアーカイブのパス
• 正確なコミット、タグ、またはチェックサム
• ディレクトリ構成
• 環境ファイルと Docker イメージ
• データとチェックポイントの場所
• 再現用スクリプトと設定
• 生成される出力の想定
• ライセンスと引用情報のメタデータ
• 既知の制限と未対応の主張

投稿先が特定のファイル名を要求していない限り、ARTIFACT.md、REPRODUCE.md、docs/artifact_evaluation.md など、短く安定した名前を優先します。

Step 4 - 査読者向けの手順を作成する

references/reviewer-instructions.md を読みます。

以下を提示します。

• セットアップコマンド
• 短い実行時間内で実行できる簡単なスモークテスト
• 論文の主要な主張を再現するためのコアコマンド
• 想定される出力と、論文の結果との比較方法
• よくある問題のトラブルシューティング
• ハードウェア、ストレージ、ネットワーク、所要時間の要件
• 許可されている場合の連絡方法または匿名サポート窓口
• 制限事項と任意の拡張実行

手順はコピーしてそのまま実行できるようにし、査読者が隠れたパスや環境変数を推測する必要がないようにします。

Step 5 - 成果物をスモークテストする

ユーザーと環境によって許可されている場合は、少なくとも以下を実行します。

• 環境の作成または依存関係の解決
• インポートまたは CLI の健全性チェック
• クイックスタートコマンド
• 代表的なデータまたはチェックポイントの読み込み
• 想定される出力との比較を 1 回実施

コマンドの実行コストが高すぎる場合は、その正確な理由を記録し、最小限の代替テストを用意します。

Step 6 - パッケージ化のリスクに対処する

以下を監査します。

• 匿名化と公開リリースの状態
• コード、データ、事前学習済みの重み、サードパーティ製アセットのライセンス
• 大容量ファイルの扱いとチェックサム
• 非公開パス、認証情報、API キー、マシン固有の前提条件
• 乱数シードと非決定性
• バージョンの固定と依存関係の競合
• 査読者の所要時間と障害からの復旧

公開リリースに関する問題は release-code に、環境のドリフトは利用可能な場合 reproducibility-audit に引き継ぎます。

Step 7 - 成果物評価レポートを作成する

references/report-template.md を読みます。

プロジェクトに保存する際、保存先が指定されていない場合は、以下を使用します。

docs/submission/artifact_evaluation_prep_YYYY-MM-DD.md

レポートには以下を含めます。

• 準備状況の判定
• 公開を妨げる問題
• 主張と成果物の対応表
• パッケージマニフェストの概要
• スモークテストの状況
• 査読者向け手順の状況
• リスク、制限事項、査読者向けの注意事項
• リリース、カメラレディ、またはメモリへの引き継ぎ

Step 8 - プロジェクトメモリに書き戻す

メモリが存在する場合は references/memory-writeback.md を読みます。

コマンドのログ全体をメモリにコピーせずに、成果物の状況、再現コマンド、阻害要因、主張の裏付け、リリース作業、最終的な引き継ぎ事項を更新します。

最終確認

最終化する前に、以下を確認します。

• 重要な論文の主張はすべて、再現可能、スモークテスト済み、説明付きでキャッシュ済み、または明示的に対象外のいずれかである
• クイックスタート手順に、想定される出力と実行時間が記載されている
• ハードウェア、データ、チェックポイント、ライセンス、匿名化の状態が明確である
• パッケージのパスとリンクが安定している
• 査読者向けに障害発生時の対応が記載されている
• 公開リリースとカメラレディに関する作業が適切な担当先に引き継がれている
• プロジェクトメモリに成果物の準備状況と未解決の阻害要因が記録されている