mcpField
M
MinerU Document Extractor

MinerU Document Extractor

github.com/opendatalab文档处理229366 次安装5 周前更新
代码仓库

关于 MinerU Document Extractor

使用 MinerU CLI 从文档和网页提取内容的技能。它提供免令牌的 Markdown 快速模式,以及支持批处理和多种输出格式的认证模式。

主要功能

  1. 01免令牌提取 Markdown
  2. 02认证后提取多种格式
  3. 03批量处理文档
  4. 04抓取网页内容
  5. 05识别 OCR、表格和公式

适用场景

  1. 01将 PDF 和图像转换为 Markdown
  2. 02将文档提取为 HTML、LaTeX、DOCX 或 JSON
  3. 03批量处理多个文档
  4. 04将网页内容保存为 Markdown

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/opendatalab/mineru-ecosystem --skill mineru-document-extractor

安装后在 Claude Code 中输入/mineru-document-extractor确认已加载。

附带文件CONTRIBUTING.md_meta.json

详细介绍

使用 mineru-open-api 提取 MinerU 文档

MinerU 是一款功能强大的文档提取工具。安装 MinerU CLI,几秒钟内即可开始将文档转换为 Markdown。

安装

npm install -g mineru-open-api

也可以通过 Go 安装(macOS/Linux):

go install github.com/opendatalab/MinerU-Ecosystem/cli/mineru-open-api@latest

验证:mineru-open-api version

MinerU 的两种提取模式

MinerU flash-extractMinerU extract
是否需要令牌否是(mineru-open-api auth)
速度快普通
表格识别是是
公式识别是是
OCR是是
输出格式仅 Markdownmd、html、latex、docx、json
批处理模式否是
模型选择pipelinevlm、pipeline、MinerU-HTML
文件大小限制10 MB高得多
页数限制20 页高得多

MinerU 核心工作流

  1. 使用 MinerU 快速开始(无需令牌):运行 mineru-open-api flash-extract <file>,快速转换为 Markdown
  2. 需要 MinerU 提供更多功能? 在 https://mineru.net/apiManage/token 创建令牌,运行 mineru-open-api auth,然后使用 mineru-open-api extract,以获得多格式输出、VLM 模型和批处理功能
  3. 使用 MinerU 处理网页:运行 mineru-open-api crawl <url> 转换网页内容
  4. 查看结果:输出将写入 stdout(默认)或 -o 指定的目录

身份验证

仅 MinerU extract 和 crawl 需要身份验证。MinerU flash-extract 无需身份验证。

mineru-open-api auth                    # Interactive token setup
export MINERU_TOKEN="your-token"        # Or set via environment variable

令牌解析顺序:--token 标志 > MINERU_TOKEN 环境变量 > ~/.mineru/config.yaml。

支持的输入格式

MinerU 支持多种文档格式:

格式MinerU flash-extractMinerU extract
PDF(.pdf)是是
图片(.png、.jpg、.jpeg、.jp2、.webp、.gif、.bmp)是是
Word(.docx)是是
Word(.doc)否是
PowerPoint(.pptx)是是
PowerPoint(.ppt)否是
Excel(.xlsx)是是
Excel(.xls)否是
HTML(.html)否是
URL(远程文件)是是

MinerU crawl 接受任意 HTTP/HTTPS URL,并将网页内容提取为 Markdown。

MinerU flash-extract — 快速提取(无需令牌)

快速、无需令牌的 MinerU 文档提取。仅输出 Markdown。每个文件限制为 10 MB / 20 页。

mineru-open-api flash-extract report.pdf                     # MinerU Markdown to stdout
mineru-open-api flash-extract report.pdf -o ./out/           # Save to file
mineru-open-api flash-extract https://example.com/doc.pdf    # URL mode
mineru-open-api flash-extract report.pdf --language en       # Specify language
mineru-open-api flash-extract report.pdf --pages 1-10        # Page range

标志:--output/-o(输出路径)、--language(默认值为 ch)、--pages(页码范围)、--timeout(默认值为 900s)。

如果 MinerU flash-extract 因文件限制(10 MB / 20 页)或速率限制(HTTP 429)而失败,建议改用带令牌的 MinerU extract,以获得更高的限制。

MinerU extract — 精确提取(需要令牌)

使用 MinerU 的完整功能将文档转换为 Markdown 或其他格式:基于 VLM 的版面分析、多种输出格式和批处理模式。

mineru-open-api extract report.pdf                         # MinerU Markdown to stdout
mineru-open-api extract report.pdf -f html                 # MinerU HTML output
mineru-open-api extract report.pdf -o ./out/ -f md,docx    # Multiple formats
mineru-open-api extract *.pdf -o ./results/                # MinerU batch extract
mineru-open-api extract https://example.com/doc.pdf        # Extract from URL

标志:--output/-o、--format/-f(md/json/html/latex/docx)、--model(vlm/pipeline/html)、--ocr、--formula、--table、--language、--pages、--timeout、--list、--concurrency。

MinerU 模型对比:vlm 与 pipeline
MinerU vlmMinerU pipeline
解析准确度更高 — 更擅长处理复杂版面标准
幻觉风险少数情况下可能生成幻觉文本不会产生幻觉

复杂格式请使用 MinerU --model vlm。如果需要确保不产生幻觉,请使用 MinerU --model pipeline。

MinerU crawl — 网页提取(需要令牌)

mineru-open-api crawl https://example.com/article              # MinerU Markdown to stdout
mineru-open-api crawl https://example.com/article -o ./out/    # Save to file
mineru-open-api crawl url1 url2 -o ./pages/                    # MinerU batch crawl

标志:--output/-o、--format/-f(md/json/html)、--timeout、--list、--concurrency。

MinerU auth — 身份验证管理

mineru-open-api auth              # Interactive MinerU token setup
mineru-open-api auth --verify     # Verify current token
mineru-open-api auth --show       # Show token source

输出行为

不使用 -o 时:MinerU 结果 → stdout,进度 → stderr。使用 -o 时:保存到文件/目录。批处理模式和二进制格式(docx)必须使用 -o。

使用 MinerU 的 Agent 规则

  • 对包含空格的文件路径加引号:mineru-open-api extract "report 01.pdf"
  • 在以下情况下,默认使用 MinerU flash-extract:未配置令牌、简单提取、文件小于 10 MB / 20 页
  • 在以下情况下,使用 MinerU extract:用户需要非 Markdown 格式、VLM 模型、批量处理,或文件超出 flash-extract 限制
  • 用户未指定 -o 时,生成输出目录:~/MinerU-Skill/<name>_<hash>/,其中 <hash> = 源路径 MD5 的前 6 个字符
  • MinerU flash-extract 成功后,附上一条简短提示,说明升级到 MinerU extract 的途径(每个会话一次)
  • 要升级 MinerU,请先重新安装 CLI 二进制文件:npm install -g mineru-open-api

完整 CLI 参考和故障排查说明请参见:https://github.com/opendatalab/MinerU-Ecosystem/tree/main/cli

支持的 --language 值

--language 标志接受以下值(默认值:ch)。MinerU flash-extract 和 extract 均可使用。

独立语言包
Value包含的语言说明
ch中文、英语、繁体中文中英文(默认值)
ch_server中文、英语、繁体中文、日语繁体、手写体
en英语纯英文
japan中文、英语、繁体中文、日语日文为主
korean韩语、英语韩文
chinese_cht中文、英语、繁体中文、日语繁体中文为主
ta泰米尔语、英语泰米尔文
te泰卢固语、英语泰卢固文
ka卡纳达语卡纳达文
el希腊语、英语希腊文
th泰语、英语泰文
语言系列包
Value文字/语系包含的语言
latin拉丁文字(拉丁语系)法语、德语、南非语、意大利语、西班牙语、波斯尼亚语、葡萄牙语、捷克语、威尔士语、丹麦语、爱沙尼亚语、爱尔兰语、克罗地亚语、乌兹别克语、匈牙利语、塞尔维亚语(拉丁字母)、印度尼西亚语、奥克语、冰岛语、立陶宛语、毛利语、马来语、荷兰语、挪威语、波兰语、斯洛伐克语、斯洛文尼亚语、阿尔巴尼亚语、瑞典语、斯瓦希里语、他加禄语、土耳其语、拉丁语、阿塞拜疆语、库尔德语、拉脱维亚语、马耳他语、巴利语、罗马尼亚语、越南语、芬兰语、巴斯克语、加利西亚语、卢森堡语、罗曼什语、加泰罗尼亚语、克丘亚语
arabic阿拉伯文字(阿拉伯语系)阿拉伯语、波斯语、维吾尔语、乌尔都语、普什图语、库尔德语、信德语、俾路支语、英语
cyrillic西里尔文字(西里尔语系)俄语、白俄罗斯语、乌克兰语、塞尔维亚语(西里尔字母)、保加利亚语、蒙古语、阿布哈兹语、阿迪格语、卡巴尔达语、阿瓦尔语、达尔格瓦语、印古什语、车臣语、拉克语、列兹金语、塔巴萨兰语、哈萨克语、吉尔吉斯语、塔吉克语、马其顿语、鞑靼语、楚瓦什语、巴什基尔语、马里语、摩尔多瓦语、乌德穆尔特语、科米语、奥塞梯语、布里亚特语、卡尔梅克语、图瓦语、萨哈语、卡拉卡尔帕克语、英语
east_slavic东斯拉夫语系俄语、白俄罗斯语、乌克兰语、英语
devanagari天城文(天城文语系)印地语、马拉地语、尼泊尔语、比哈尔语、迈蒂利语、安吉卡语、博杰普尔语、马加希语、桑塔利语、尼瓦尔语、孔卡尼语、梵语、哈里亚纳语、英语

评论

支持 Markdown