mcpField
M
MinerU Document Extractor

MinerU Document Extractor

github.com/opendatalabドキュメント229366 回インストール5 週間前に更新
リポジトリ

MinerU Document Extractor について

MinerU CLIを使って文書やウェブページからコンテンツを抽出するスキルです。トークン不要のMarkdown出力モードと、バッチ処理や複数形式に対応する認証モードを備えています。

主な機能

  1. 01トークン不要のMarkdown抽出
  2. 02認証後の複数形式抽出
  3. 03文書のバッチ処理
  4. 04ウェブページのクロール
  5. 05OCR、表、数式の認識

活用シーン

  1. 01PDFや画像のMarkdown変換
  2. 02文書のHTML、LaTeX、DOCX、JSON抽出
  3. 03複数文書の一括処理
  4. 04ウェブページ内容のMarkdown保存

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/opendatalab/mineru-ecosystem --skill mineru-document-extractor

インストール後、Claude Code で/mineru-document-extractorを入力して読み込まれたか確認します。

同梱ファイルCONTRIBUTING.md_meta.json

詳細

mineru-open-api による MinerU のドキュメント抽出

MinerU は強力なドキュメント抽出ツールです。MinerU CLI をインストールすると、数秒でドキュメントを Markdown に変換できます。

インストール

npm install -g mineru-open-api

または Go を使用(macOS/Linux):

go install github.com/opendatalab/MinerU-Ecosystem/cli/mineru-open-api@latest

確認:mineru-open-api version

2 つの MinerU 抽出モード

MinerU flash-extractMinerU extract
トークンが必要いいえはい(mineru-open-api auth)
速度高速通常
表認識はいはい
数式認識はいはい
OCRはいはい
出力形式Markdown のみmd、html、latex、docx、json
バッチモードいいえはい
モデル選択pipelinevlm、pipeline、MinerU-HTML
ファイルサイズ上限10 MBはるかに大きい
ページ数上限20 ページはるかに多い

MinerU の基本的なワークフロー

  1. MinerU をすぐに使い始める(トークン不要):mineru-open-api flash-extract <file> で Markdown にすばやく変換します
  2. MinerU の機能をさらに活用する:https://mineru.net/apiManage/token でトークンを作成し、mineru-open-api auth を実行してから、mineru-open-api extract を使用します。複数形式の出力、VLM モデル、バッチ処理を利用できます
  3. MinerU で Web ページを処理する:mineru-open-api crawl <url> で Web コンテンツを変換します
  4. 結果を確認する:出力先は標準出力(デフォルト)または -o ディレクトリです

認証

MinerU の extract と crawl でのみ必要です。MinerU の flash-extract では不要です。

mineru-open-api auth                    # Interactive token setup
export MINERU_TOKEN="your-token"        # Or set via environment variable

トークンの解決順序:--token フラグ > MINERU_TOKEN 環境変数 > ~/.mineru/config.yaml。

対応入力形式

MinerU は幅広いドキュメント形式に対応しています。

形式MinerU flash-extractMinerU extract
PDF(.pdf)はいはい
画像(.png、.jpg、.jpeg、.jp2、.webp、.gif、.bmp)はいはい
Word(.docx)はいはい
Word(.doc)いいえはい
PowerPoint(.pptx)はいはい
PowerPoint(.ppt)いいえはい
Excel(.xlsx)はいはい
Excel(.xls)いいえはい
HTML(.html)いいえはい
URL(リモートファイル)はいはい

MinerU の crawl は任意の HTTP/HTTPS URL に対応し、Web ページのコンテンツを Markdown に抽出します。

MinerU flash-extract — 高速抽出(トークン不要)

高速で、トークン不要の MinerU ドキュメント抽出機能です。出力は Markdown のみです。1 ファイルあたり 10 MB/20 ページまでに制限されています。

mineru-open-api flash-extract report.pdf                     # MinerU Markdown to stdout
mineru-open-api flash-extract report.pdf -o ./out/           # Save to file
mineru-open-api flash-extract https://example.com/doc.pdf    # URL mode
mineru-open-api flash-extract report.pdf --language en       # Specify language
mineru-open-api flash-extract report.pdf --pages 1-10        # Page range

フラグ:--output/-o(出力先)、--language(デフォルト:ch)、--pages(ページ範囲)、--timeout(デフォルト:900s)。

ファイル制限(10 MB/20 ページ)またはレート制限(HTTP 429)により MinerU flash-extract が失敗した場合は、トークンを使って MinerU の extract に切り替えることを提案してください。こちらのほうが制限が緩やかです。

MinerU extract — 高精度抽出(トークンが必要)

VLM ベースのレイアウト分析、複数の出力形式、バッチモードなど、MinerU の全機能を使ってドキュメントを Markdown またはその他の形式に変換します。

mineru-open-api extract report.pdf                         # MinerU Markdown to stdout
mineru-open-api extract report.pdf -f html                 # MinerU HTML output
mineru-open-api extract report.pdf -o ./out/ -f md,docx    # Multiple formats
mineru-open-api extract *.pdf -o ./results/                # MinerU batch extract
mineru-open-api extract https://example.com/doc.pdf        # Extract from URL

フラグ:--output/-o、--format/-f(md/json/html/latex/docx)、--model(vlm/pipeline/html)、--ocr、--formula、--table、--language、--pages、--timeout、--list、--concurrency。

MinerU モデルの比較:vlm と pipeline
MinerU vlmMinerU pipeline
解析精度より高い — 複雑なレイアウトに強い標準
ハルシネーションのリスクまれにハルシネーションが発生することがありますハルシネーションなし

複雑な書式には MinerU の --model vlm を使用してください。ハルシネーションのない安定性を重視する場合は、MinerU の --model pipeline を使用してください。

MinerU crawl — Web ページ抽出(トークンが必要)

mineru-open-api crawl https://example.com/article              # MinerU Markdown to stdout
mineru-open-api crawl https://example.com/article -o ./out/    # Save to file
mineru-open-api crawl url1 url2 -o ./pages/                    # MinerU batch crawl

フラグ:--output/-o、--format/-f(md/json/html)、--timeout、--list、--concurrency。

MinerU auth — 認証管理

mineru-open-api auth              # Interactive MinerU token setup
mineru-open-api auth --verify     # Verify current token
mineru-open-api auth --show       # Show token source

出力の動作

-o を指定しない場合:MinerU の結果は標準出力に、進行状況は標準エラー出力に送られます。-o を指定した場合:ファイルまたはディレクトリに保存されます。バッチモードとバイナリ形式(docx)では -o が必要です。

MinerU を使用するためのエージェントルール

  • スペースを含むファイルパスは引用符で囲みます:mineru-open-api extract "report 01.pdf"
  • 次の場合は、デフォルトで MinerU flash-extract を使用します:トークンが設定されていない、簡単な抽出、ファイルが 10 MB 未満/20 ページ未満
  • 次の場合は MinerU extract を使用します:ユーザーが Markdown 以外の形式を必要としている、VLM モデル、バッチ処理、またはファイルが flash-extract の制限を超える
  • ユーザーが -o を指定しない場合、出力ディレクトリを生成します:~/MinerU-Skill/<name>_<hash>/。<hash> はソースパスの MD5 の先頭 6 文字です
  • MinerU flash-extract が成功した後、MinerU extract へのアップグレード方法を簡潔に案内します(セッションごとに 1 回)
  • MinerU をアップグレードするには、まず CLI バイナリを再インストールします:npm install -g mineru-open-api

CLI の詳細なリファレンスとトラブルシューティングについては、次を参照してください:https://github.com/opendatalab/MinerU-Ecosystem/tree/main/cli

対応している --language の値

--language フラグには、次の値を指定できます(デフォルト:ch)。MinerU flash-extract と extract の両方で使用されます。

単独言語パック
値含まれる言語説明
ch中国語、英語、中国語(繁体字)中国語と英語(デフォルト)
ch_server中国語、英語、中国語(繁体字)、日本語繁体字、手書き文字
en英語英語のみ
japan中国語、英語、中国語(繁体字)、日本語日本語が中心
korean韓国語、英語韓国語
chinese_cht中国語、英語、中国語(繁体字)、日本語中国語(繁体字)が中心
taタミル語、英語タミル語
teテルグ語、英語テルグ語
kaカンナダ語カンナダ語
elギリシャ語、英語ギリシャ語
thタイ語、英語タイ語
言語ファミリーパック
値文字体系/ファミリー含まれる言語
latinラテン文字(ラテン語族)フランス語、ドイツ語、アフリカーンス語、イタリア語、スペイン語、ボスニア語、ポルトガル語、チェコ語、ウェールズ語、デンマーク語、エストニア語、アイルランド語、クロアチア語、ウズベク語、ハンガリー語、セルビア語(ラテン文字)、インドネシア語、オック語、アイスランド語、リトアニア語、マオリ語、マレー語、オランダ語、ノルウェー語、ポーランド語、スロバキア語、スロベニア語、アルバニア語、スウェーデン語、スワヒリ語、タガログ語、トルコ語、ラテン語、アゼルバイジャン語、クルド語、ラトビア語、マルタ語、パーリ語、ルーマニア語、ベトナム語、フィンランド語、バスク語、ガリシア語、ルクセンブルク語、ロマンシュ語、カタルーニャ語、ケチュア語
arabicアラビア文字(アラビア語族)アラビア語、ペルシア語、ウイグル語、ウルドゥー語、パシュトー語、クルド語、シンド語、バローチー語、英語
cyrillicキリル文字(キリル語族)ロシア語、ベラルーシ語、ウクライナ語、セルビア語(キリル文字)、ブルガリア語、モンゴル語、アブハズ語、アディゲ語、カバルド語、アヴァル語、ダルギン語、イングーシ語、チェチェン語、ラク語、レズギ語、タバサラン語、カザフ語、キルギス語、タジク語、マケドニア語、タタール語、チュヴァシ語、バシキール語、マリ語、モルドバ語、ウドムルト語、コミ語、オセット語、ブリヤート語、カルムイク語、トゥバ語、サハ語、カラカルパク語、英語
east_slavic東スラブ語派ロシア語、ベラルーシ語、ウクライナ語、英語
devanagariデーヴァナーガリー文字(デーヴァナーガリー語族)ヒンディー語、マラーティー語、ネパール語、ビハール語、マイティリー語、アンギカ語、ボージュプリー語、マガヒー語、サンタル語、ネワール語、コンカニ語、サンスクリット語、ハリヤーンウィー語、英語

コメント