arxiv

arXiv 研究

arXiv の無料 REST API を使って、学術論文を検索・取得します。API キーも依存関係も不要で、curl だけで利用できます。

クイックリファレンス

操作	コマンド
論文を検索	curl "https://export.arxiv.org/api/query?search_query=all:QUERY&max_results=5"
特定の論文を取得	curl "https://export.arxiv.org/api/query?id_list=2402.03300"
要旨を読む（ウェブ）	web_extract(urls=["https://arxiv.org/abs/2402.03300"])
論文全文を読む（PDF）	web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

論文を検索する

API は Atom XML を返します。grep／sed で解析するか、python にパイプして読みやすい形式で出力できます。

基本的な検索

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5"

読みやすい形式で出力（XML を解析）

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5&sortBy=submittedDate&sortOrder=descending" | python -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom'}
root = ET.parse(sys.stdin).getroot()
for i, entry in enumerate(root.findall('a:entry', ns)):
    title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
    arxiv_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
    published = entry.find('a:published', ns).text[:10]
    authors = ', '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
    summary = entry.find('a:summary', ns).text.strip()[:200]
    cats = ', '.join(c.get('term') for c in entry.findall('a:category', ns))
    print(f'{i+1}. [{arxiv_id}] {title}')
    print(f'   Authors: {authors}')
    print(f'   Published: {published} | Categories: {cats}')
    print(f'   Abstract: {summary}...')
    print(f'   PDF: https://arxiv.org/pdf/{arxiv_id}')
    print()
"

検索クエリの構文

プレフィックス	検索対象	例
all:	すべてのフィールド	all:transformer+attention
ti:	タイトル	ti:large+language+models
au:	著者	au:vaswani
abs:	要旨	abs:reinforcement+learning
cat:	カテゴリー	cat:cs.AI
co:	コメント	co:accepted+NeurIPS

ブール演算子

# AND (default when using +)
search_query=all:transformer+attention

# OR
search_query=all:GPT+OR+all:BERT

# AND NOT
search_query=all:language+model+ANDNOT+all:vision

# Exact phrase
search_query=ti:"chain+of+thought"

# Combined
search_query=au:hinton+AND+cat:cs.LG

並べ替えとページネーション

パラメーター	オプション
sortBy	relevance、lastUpdatedDate、submittedDate
sortOrder	ascending、descending
start	結果の開始位置（0 起点）
max_results	結果数（デフォルト 10、最大 30000）

# Latest 10 papers in cs.AI
curl -s "https://export.arxiv.org/api/query?search_query=cat:cs.AI&sortBy=submittedDate&sortOrder=descending&max_results=10"

特定の論文を取得する

# By arXiv ID
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300"

# Multiple papers
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300,2401.12345,2403.00001"

BibTeX の生成

論文のメタデータを取得した後、BibTeX エントリーを生成します。

{% raw %}

curl -s "https://export.arxiv.org/api/query?id_list=1706.03762" | python -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom', 'arxiv': 'http://arxiv.org/schemas/atom'}
root = ET.parse(sys.stdin).getroot()
entry = root.find('a:entry', ns)
if entry is None: sys.exit('Paper not found')
title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
authors = ' and '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
year = entry.find('a:published', ns).text[:4]
raw_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
cat = entry.find('arxiv:primary_category', ns)
primary = cat.get('term') if cat is not None else 'cs.LG'
last_name = entry.find('a:author', ns).find('a:name', ns).text.split()[-1]
print(f'@article{{{last_name}{year}_{raw_id.replace(\".\", \"\")},')
print(f'  title     = {{{title}}},')
print(f'  author    = {{{authors}}},')
print(f'  year      = {{{year}}},')
print(f'  eprint    = {{{raw_id}}},')
print(f'  archivePrefix = {{arXiv}},')
print(f'  primaryClass  = {{{primary}}},')
print(f'  url       = {{https://arxiv.org/abs/{raw_id}}}')
print('}')
"

{% endraw %}

論文の内容を読む

論文を見つけたら、内容を読みます。

# Abstract page (fast, metadata + abstract)
web_extract(urls=["https://arxiv.org/abs/2402.03300"])

# Full paper (PDF → markdown via Firecrawl)
web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

ローカルで PDF を処理する方法については、ocr-and-documents スキルを参照してください。

よく使われるカテゴリー

カテゴリー	分野
cs.AI	人工知能
cs.CL	計算と言語（NLP）
cs.CV	コンピュータービジョン
cs.LG	機械学習
cs.CR	暗号とセキュリティ
stat.ML	機械学習（統計）
math.OC	最適化と制御
physics.comp-ph	計算物理学

全カテゴリーの一覧：https://arxiv.org/category_taxonomy

ヘルパースクリプト

scripts/search_arxiv.py スクリプトは XML の解析を行い、読みやすい形式で出力します。

python scripts/search_arxiv.py "GRPO reinforcement learning"
python scripts/search_arxiv.py "transformer attention" --max 10 --sort date
python scripts/search_arxiv.py --author "Yann LeCun" --max 5
python scripts/search_arxiv.py --category cs.AI --sort date
python scripts/search_arxiv.py --id 2402.03300
python scripts/search_arxiv.py --id 2402.03300,2401.12345

依存関係は不要で、Python 標準ライブラリのみを使用します。

---

Semantic Scholar（引用、関連論文、著者プロフィール）

arXiv は引用データやおすすめ情報を提供していません。その場合は Semantic Scholar API を使用します。無料で、基本的な利用にはキーが不要（1 秒あたり 1 リクエスト）で、JSON を返します。

論文の詳細と引用を取得する

# By arXiv ID
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300?fields=title,authors,citationCount,referenceCount,influentialCitationCount,year,abstract" | python -m json.tool

# By Semantic Scholar paper ID or DOI
curl -s "https://api.semanticscholar.org/graph/v1/paper/DOI:10.1234/example?fields=title,citationCount"

論文への引用を取得する（誰が引用したか）

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/citations?fields=title,authors,year,citationCount&limit=10" | python -m json.tool

論文からの参考文献を取得する（何を引用しているか）

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/references?fields=title,authors,year,citationCount&limit=10" | python -m json.tool

論文を検索する（arXiv 検索の代替、JSON を返す）

curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query=GRPO+reinforcement+learning&limit=5&fields=title,authors,year,citationCount,externalIds" | python -m json.tool

論文のおすすめを取得する

curl -s -X POST "https://api.semanticscholar.org/recommendations/v1/papers/" \
  -H "Content-Type: application/json" \
  -d '{"positivePaperIds": ["arXiv:2402.03300"], "negativePaperIds": []}' | python -m json.tool

著者プロフィール

curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=Yann+LeCun&fields=name,hIndex,citationCount,paperCount" | python -m json.tool

Semantic Scholar の便利なフィールド

title、authors、year、abstract、citationCount、referenceCount、influentialCitationCount、isOpenAccess、openAccessPdf、fieldsOfStudy、publicationVenue、externalIds（arXiv ID、DOI などを含む）

---

研究ワークフロー全体

1. 検索：python scripts/search_arxiv.py "your topic" --sort date --max 10
2. 影響度を評価：curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID?fields=citationCount,influentialCitationCount"
3. 要旨を読む：web_extract(urls=["https://arxiv.org/abs/ID"])
4. 論文全文を読む：web_extract(urls=["https://arxiv.org/pdf/ID"])
5. 関連研究を探す：curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID/references?fields=title,citationCount&limit=20"
6. おすすめを取得：Semantic Scholar のおすすめエンドポイントに POST します
7. 著者を追跡：curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=NAME"

レート制限

API	レート	認証
arXiv	約 3 秒あたり 1 リクエスト	不要
Semantic Scholar	1 秒あたり 1 リクエスト	不要（API キーがあれば 1 秒あたり 100 リクエスト）

注意事項

• arXiv は Atom XML を返します。整形された出力を得るには、ヘルパースクリプトまたはパース用のスニペットを使用してください
• Semantic Scholar は JSON を返します。読みやすくするには、python -m json.tool にパイプしてください
• arXiv ID：旧形式（hep-th/0601001）と新形式（2402.03300）
• PDF：https://arxiv.org/pdf/{id} — 要旨：https://arxiv.org/abs/{id}
• HTML（利用可能な場合）：https://arxiv.org/html/{id}
• ローカルで PDF を処理する方法については、ocr-and-documents スキルを参照してください

ID のバージョン管理

• arxiv.org/abs/1706.03762 は常に最新バージョンに解決されます
• arxiv.org/abs/1706.03762v1 は、特定の変更不可のバージョンを示します
• 引用を生成する際は、引用内容の変化を防ぐため、実際に読んだバージョンの接尾辞を保持してください（後のバージョンでは内容が大幅に変更されている場合があります）
• API の <id> フィールドは、バージョン付き URL を返します（例：http://arxiv.org/abs/1706.03762v7）

取り下げられた論文

論文は投稿後に取り下げられる場合があります。その場合：

• <summary> フィールドに取り下げの通知が含まれます（「withdrawn」または「retracted」を探してください）
• メタデータフィールドが不完全な場合があります
• 結果を有効な論文として扱う前に、必ず要旨を確認してください