MinerU Document Extractor について
MinerU CLIを使って文書やウェブページからコンテンツを抽出するスキルです。トークン不要のMarkdown出力モードと、バッチ処理や複数形式に対応する認証モードを備えています。
主な機能
- 01トークン不要のMarkdown抽出
- 02認証後の複数形式抽出
- 03文書のバッチ処理
- 04ウェブページのクロール
- 05OCR、表、数式の認識
活用シーン
- 01PDFや画像のMarkdown変換
- 02文書のHTML、LaTeX、DOCX、JSON抽出
- 03複数文書の一括処理
- 04ウェブページ内容のMarkdown保存
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/ / github.com/ opendatalab/ mineru-ecosystem --skill mineru-document-extractorインストール後、Claude Code で/mineru-document-extractorを入力して読み込まれたか確認します。
同梱ファイルCONTRIBUTING.md_meta.json
詳細
mineru-open-api による MinerU のドキュメント抽出
MinerU は強力なドキュメント抽出ツールです。MinerU CLI をインストールすると、数秒でドキュメントを Markdown に変換できます。
インストール
npm install -g mineru-open-api
または Go を使用(macOS/Linux):
go install github.com/opendatalab/MinerU-Ecosystem/cli/mineru-open-api@latest
確認:mineru-open-api version
2 つの MinerU 抽出モード
MinerU flash-extract | MinerU extract | |
|---|---|---|
| トークンが必要 | いいえ | はい(mineru-open-api auth) |
| 速度 | 高速 | 通常 |
| 表認識 | はい | はい |
| 数式認識 | はい | はい |
| OCR | はい | はい |
| 出力形式 | Markdown のみ | md、html、latex、docx、json |
| バッチモード | いいえ | はい |
| モデル選択 | pipeline | vlm、pipeline、MinerU-HTML |
| ファイルサイズ上限 | 10 MB | はるかに大きい |
| ページ数上限 | 20 ページ | はるかに多い |
MinerU の基本的なワークフロー
- MinerU をすぐに使い始める(トークン不要):
mineru-open-api flash-extract <file>で Markdown にすばやく変換します - MinerU の機能をさらに活用する:https://mineru.net/apiManage/token でトークンを作成し、
mineru-open-api authを実行してから、mineru-open-api extractを使用します。複数形式の出力、VLM モデル、バッチ処理を利用できます - MinerU で Web ページを処理する:
mineru-open-api crawl <url>で Web コンテンツを変換します - 結果を確認する:出力先は標準出力(デフォルト)または
-oディレクトリです
認証
MinerU の extract と crawl でのみ必要です。MinerU の flash-extract では不要です。
mineru-open-api auth # Interactive token setup
export MINERU_TOKEN="your-token" # Or set via environment variable
トークンの解決順序:--token フラグ > MINERU_TOKEN 環境変数 > ~/.mineru/config.yaml。
対応入力形式
MinerU は幅広いドキュメント形式に対応しています。
| 形式 | MinerU flash-extract | MinerU extract |
|---|---|---|
PDF(.pdf) | はい | はい |
画像(.png、.jpg、.jpeg、.jp2、.webp、.gif、.bmp) | はい | はい |
Word(.docx) | はい | はい |
Word(.doc) | いいえ | はい |
PowerPoint(.pptx) | はい | はい |
PowerPoint(.ppt) | いいえ | はい |
Excel(.xlsx) | はい | はい |
Excel(.xls) | いいえ | はい |
HTML(.html) | いいえ | はい |
| URL(リモートファイル) | はい | はい |
MinerU の crawl は任意の HTTP/HTTPS URL に対応し、Web ページのコンテンツを Markdown に抽出します。
MinerU flash-extract — 高速抽出(トークン不要)
高速で、トークン不要の MinerU ドキュメント抽出機能です。出力は Markdown のみです。1 ファイルあたり 10 MB/20 ページまでに制限されています。
mineru-open-api flash-extract report.pdf # MinerU Markdown to stdout
mineru-open-api flash-extract report.pdf -o ./out/ # Save to file
mineru-open-api flash-extract https://example.com/doc.pdf # URL mode
mineru-open-api flash-extract report.pdf --language en # Specify language
mineru-open-api flash-extract report.pdf --pages 1-10 # Page range
フラグ:--output/-o(出力先)、--language(デフォルト:ch)、--pages(ページ範囲)、--timeout(デフォルト:900s)。
ファイル制限(10 MB/20 ページ)またはレート制限(HTTP 429)により MinerU flash-extract が失敗した場合は、トークンを使って MinerU の extract に切り替えることを提案してください。こちらのほうが制限が緩やかです。
MinerU extract — 高精度抽出(トークンが必要)
VLM ベースのレイアウト分析、複数の出力形式、バッチモードなど、MinerU の全機能を使ってドキュメントを Markdown またはその他の形式に変換します。
mineru-open-api extract report.pdf # MinerU Markdown to stdout
mineru-open-api extract report.pdf -f html # MinerU HTML output
mineru-open-api extract report.pdf -o ./out/ -f md,docx # Multiple formats
mineru-open-api extract *.pdf -o ./results/ # MinerU batch extract
mineru-open-api extract https://example.com/doc.pdf # Extract from URL
フラグ:--output/-o、--format/-f(md/json/html/latex/docx)、--model(vlm/pipeline/html)、--ocr、--formula、--table、--language、--pages、--timeout、--list、--concurrency。
MinerU モデルの比較:vlm と pipeline
MinerU vlm | MinerU pipeline | |
|---|---|---|
| 解析精度 | より高い — 複雑なレイアウトに強い | 標準 |
| ハルシネーションのリスク | まれにハルシネーションが発生することがあります | ハルシネーションなし |
複雑な書式には MinerU の --model vlm を使用してください。ハルシネーションのない安定性を重視する場合は、MinerU の --model pipeline を使用してください。
MinerU crawl — Web ページ抽出(トークンが必要)
mineru-open-api crawl https://example.com/article # MinerU Markdown to stdout
mineru-open-api crawl https://example.com/article -o ./out/ # Save to file
mineru-open-api crawl url1 url2 -o ./pages/ # MinerU batch crawl
フラグ:--output/-o、--format/-f(md/json/html)、--timeout、--list、--concurrency。
MinerU auth — 認証管理
mineru-open-api auth # Interactive MinerU token setup
mineru-open-api auth --verify # Verify current token
mineru-open-api auth --show # Show token source
出力の動作
-o を指定しない場合:MinerU の結果は標準出力に、進行状況は標準エラー出力に送られます。-o を指定した場合:ファイルまたはディレクトリに保存されます。バッチモードとバイナリ形式(docx)では -o が必要です。
MinerU を使用するためのエージェントルール
- スペースを含むファイルパスは引用符で囲みます:
mineru-open-api extract "report 01.pdf" - 次の場合は、デフォルトで MinerU
flash-extractを使用します:トークンが設定されていない、簡単な抽出、ファイルが 10 MB 未満/20 ページ未満 - 次の場合は MinerU
extractを使用します:ユーザーが Markdown 以外の形式を必要としている、VLM モデル、バッチ処理、またはファイルが flash-extract の制限を超える - ユーザーが
-oを指定しない場合、出力ディレクトリを生成します:~/MinerU-Skill/<name>_<hash>/。<hash>はソースパスの MD5 の先頭 6 文字です - MinerU
flash-extractが成功した後、MinerUextractへのアップグレード方法を簡潔に案内します(セッションごとに 1 回) - MinerU をアップグレードするには、まず CLI バイナリを再インストールします:
npm install -g mineru-open-api
CLI の詳細なリファレンスとトラブルシューティングについては、次を参照してください:https://github.com/opendatalab/MinerU-Ecosystem/tree/main/cli
対応している --language の値
--language フラグには、次の値を指定できます(デフォルト:ch)。MinerU flash-extract と extract の両方で使用されます。
単独言語パック
| 値 | 含まれる言語 | 説明 |
|---|---|---|
ch | 中国語、英語、中国語(繁体字) | 中国語と英語(デフォルト) |
ch_server | 中国語、英語、中国語(繁体字)、日本語 | 繁体字、手書き文字 |
en | 英語 | 英語のみ |
japan | 中国語、英語、中国語(繁体字)、日本語 | 日本語が中心 |
korean | 韓国語、英語 | 韓国語 |
chinese_cht | 中国語、英語、中国語(繁体字)、日本語 | 中国語(繁体字)が中心 |
ta | タミル語、英語 | タミル語 |
te | テルグ語、英語 | テルグ語 |
ka | カンナダ語 | カンナダ語 |
el | ギリシャ語、英語 | ギリシャ語 |
th | タイ語、英語 | タイ語 |
言語ファミリーパック
| 値 | 文字体系/ファミリー | 含まれる言語 |
|---|---|---|
latin | ラテン文字(ラテン語族) | フランス語、ドイツ語、アフリカーンス語、イタリア語、スペイン語、ボスニア語、ポルトガル語、チェコ語、ウェールズ語、デンマーク語、エストニア語、アイルランド語、クロアチア語、ウズベク語、ハンガリー語、セルビア語(ラテン文字)、インドネシア語、オック語、アイスランド語、リトアニア語、マオリ語、マレー語、オランダ語、ノルウェー語、ポーランド語、スロバキア語、スロベニア語、アルバニア語、スウェーデン語、スワヒリ語、タガログ語、トルコ語、ラテン語、アゼルバイジャン語、クルド語、ラトビア語、マルタ語、パーリ語、ルーマニア語、ベトナム語、フィンランド語、バスク語、ガリシア語、ルクセンブルク語、ロマンシュ語、カタルーニャ語、ケチュア語 |
arabic | アラビア文字(アラビア語族) | アラビア語、ペルシア語、ウイグル語、ウルドゥー語、パシュトー語、クルド語、シンド語、バローチー語、英語 |
cyrillic | キリル文字(キリル語族) | ロシア語、ベラルーシ語、ウクライナ語、セルビア語(キリル文字)、ブルガリア語、モンゴル語、アブハズ語、アディゲ語、カバルド語、アヴァル語、ダルギン語、イングーシ語、チェチェン語、ラク語、レズギ語、タバサラン語、カザフ語、キルギス語、タジク語、マケドニア語、タタール語、チュヴァシ語、バシキール語、マリ語、モルドバ語、ウドムルト語、コミ語、オセット語、ブリヤート語、カルムイク語、トゥバ語、サハ語、カラカルパク語、英語 |
east_slavic | 東スラブ語派 | ロシア語、ベラルーシ語、ウクライナ語、英語 |
devanagari | デーヴァナーガリー文字(デーヴァナーガリー語族) | ヒンディー語、マラーティー語、ネパール語、ビハール語、マイティリー語、アンギカ語、ボージュプリー語、マガヒー語、サンタル語、ネワール語、コンカニ語、サンスクリット語、ハリヤーンウィー語、英語 |