agent-survey-corpus

エージェントサーベイコーパス（arXiv PDF → テキスト抽出）

トリガーとルーティング

• トリガー：エージェントサーベイコーパス、参考コーパス、サーベイのダウンロード、学习综述写法、survey のダウンロード。
• 使用する場面：実際のエージェントサーベイがセクション（H2 を 6～8 個）をどのように構成し、サブセクションの分量を調整し、根拠に基づく比較を記述しているかを調べたい場合です。

目的：実際のエージェントサーベイから学びながら、次の内容を改善するための、小規模なローカル参考ライブラリを作成します。

• C2 アウトライン構成（論文形式のセクション分け）
• C4 表と主張の整理
• C5 文体と情報密度

これは意図的にパイプラインには含めず、リポジトリレベルの任意のツールキットとして用意されています。

入力

• ref/agent-surveys/arxiv_ids.txt

出力

• ref/agent-surveys/pdfs/
• ref/agent-surveys/text/
• ref/agent-surveys/STYLE_REPORT.md（追跡対象。自動生成される要約）

ワークフロー

1. ref/agent-surveys/arxiv_ids.txt を編集します（1 行につき arXiv ID を 1 つ指定します）。
2. ダウンローダーを実行し、PDF を取得して最初の N ページをテキストに抽出します。
3. ref/agent-surveys/text/ 内の抽出テキストに目を通します。
   • セクション数（H2）、サブセクションの粒度（H3）、章間のつなぎ方を確認します。
   • パイプラインのライターに模倣させたい、繰り返し見られる修辞パターンを特定します。

スクリプト

クイックスタート

• uv run python .codex/skills/agent-survey-corpus/scripts/run.py --help
• uv run python .codex/skills/agent-survey-corpus/scripts/run.py --workspace . --max-pages 20

すべてのオプション

• --workspace <dir>（リポジトリのルートに書き込むには . を使用）
• --inputs <semicolon-separated>（デフォルト：ref/agent-surveys/arxiv_ids.txt）
• --max-pages <N>（デフォルト：20）
• --sleep <seconds>（デフォルト：1.0）
• --overwrite（再ダウンロードして再抽出）

使用例

• リポジトリのルート ref/ にダウンロードして抽出します。
  • uv run python .codex/skills/agent-survey-corpus/scripts/run.py --workspace . --max-pages 20
• 指定したフォルダーにダウンロードして抽出します（そのフォルダーをワークスペースのルートとして扱います）。
  • uv run python .codex/skills/agent-survey-corpus/scripts/run.py --workspace /tmp/surveys --max-pages 30

トラブルシューティング

• ダウンロードに失敗する／タイムアウトする：--sleep の値を大きくして再実行するか、ID の数を減らしてみてください。
• テキスト抽出結果が空になる：PDF がスキャン画像かもしれません。別のサーベイを試すか、--max-pages の値を大きくしてください。
• ファイルが git status に表示される：PDF とテキストは .gitignore（ref/**/pdfs/、ref/**/text/）で無視されます。