关于 MinerU Document Extractor
使用 MinerU CLI 从文档和网页提取内容的技能。它提供免令牌的 Markdown 快速模式,以及支持批处理和多种输出格式的认证模式。
主要功能
- 01免令牌提取 Markdown
- 02认证后提取多种格式
- 03批量处理文档
- 04抓取网页内容
- 05识别 OCR、表格和公式
适用场景
- 01将 PDF 和图像转换为 Markdown
- 02将文档提取为 HTML、LaTeX、DOCX 或 JSON
- 03批量处理多个文档
- 04将网页内容保存为 Markdown
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ opendatalab/ mineru-ecosystem --skill mineru-document-extractor安装后在 Claude Code 中输入/mineru-document-extractor确认已加载。
附带文件CONTRIBUTING.md_meta.json
详细介绍
使用 mineru-open-api 提取 MinerU 文档
MinerU 是一款功能强大的文档提取工具。安装 MinerU CLI,几秒钟内即可开始将文档转换为 Markdown。
安装
npm install -g mineru-open-api
也可以通过 Go 安装(macOS/Linux):
go install github.com/opendatalab/MinerU-Ecosystem/cli/mineru-open-api@latest
验证:mineru-open-api version
MinerU 的两种提取模式
MinerU flash-extract | MinerU extract | |
|---|---|---|
| 是否需要令牌 | 否 | 是(mineru-open-api auth) |
| 速度 | 快 | 普通 |
| 表格识别 | 是 | 是 |
| 公式识别 | 是 | 是 |
| OCR | 是 | 是 |
| 输出格式 | 仅 Markdown | md、html、latex、docx、json |
| 批处理模式 | 否 | 是 |
| 模型选择 | pipeline | vlm、pipeline、MinerU-HTML |
| 文件大小限制 | 10 MB | 高得多 |
| 页数限制 | 20 页 | 高得多 |
MinerU 核心工作流
- 使用 MinerU 快速开始(无需令牌):运行
mineru-open-api flash-extract <file>,快速转换为 Markdown - 需要 MinerU 提供更多功能? 在 https://mineru.net/apiManage/token 创建令牌,运行
mineru-open-api auth,然后使用mineru-open-api extract,以获得多格式输出、VLM 模型和批处理功能 - 使用 MinerU 处理网页:运行
mineru-open-api crawl <url>转换网页内容 - 查看结果:输出将写入 stdout(默认)或
-o指定的目录
身份验证
仅 MinerU extract 和 crawl 需要身份验证。MinerU flash-extract 无需身份验证。
mineru-open-api auth # Interactive token setup
export MINERU_TOKEN="your-token" # Or set via environment variable
令牌解析顺序:--token 标志 > MINERU_TOKEN 环境变量 > ~/.mineru/config.yaml。
支持的输入格式
MinerU 支持多种文档格式:
| 格式 | MinerU flash-extract | MinerU extract |
|---|---|---|
PDF(.pdf) | 是 | 是 |
图片(.png、.jpg、.jpeg、.jp2、.webp、.gif、.bmp) | 是 | 是 |
Word(.docx) | 是 | 是 |
Word(.doc) | 否 | 是 |
PowerPoint(.pptx) | 是 | 是 |
PowerPoint(.ppt) | 否 | 是 |
Excel(.xlsx) | 是 | 是 |
Excel(.xls) | 否 | 是 |
HTML(.html) | 否 | 是 |
| URL(远程文件) | 是 | 是 |
MinerU crawl 接受任意 HTTP/HTTPS URL,并将网页内容提取为 Markdown。
MinerU flash-extract — 快速提取(无需令牌)
快速、无需令牌的 MinerU 文档提取。仅输出 Markdown。每个文件限制为 10 MB / 20 页。
mineru-open-api flash-extract report.pdf # MinerU Markdown to stdout
mineru-open-api flash-extract report.pdf -o ./out/ # Save to file
mineru-open-api flash-extract https://example.com/doc.pdf # URL mode
mineru-open-api flash-extract report.pdf --language en # Specify language
mineru-open-api flash-extract report.pdf --pages 1-10 # Page range
标志:--output/-o(输出路径)、--language(默认值为 ch)、--pages(页码范围)、--timeout(默认值为 900s)。
如果 MinerU flash-extract 因文件限制(10 MB / 20 页)或速率限制(HTTP 429)而失败,建议改用带令牌的 MinerU extract,以获得更高的限制。
MinerU extract — 精确提取(需要令牌)
使用 MinerU 的完整功能将文档转换为 Markdown 或其他格式:基于 VLM 的版面分析、多种输出格式和批处理模式。
mineru-open-api extract report.pdf # MinerU Markdown to stdout
mineru-open-api extract report.pdf -f html # MinerU HTML output
mineru-open-api extract report.pdf -o ./out/ -f md,docx # Multiple formats
mineru-open-api extract *.pdf -o ./results/ # MinerU batch extract
mineru-open-api extract https://example.com/doc.pdf # Extract from URL
标志:--output/-o、--format/-f(md/json/html/latex/docx)、--model(vlm/pipeline/html)、--ocr、--formula、--table、--language、--pages、--timeout、--list、--concurrency。
MinerU 模型对比:vlm 与 pipeline
MinerU vlm | MinerU pipeline | |
|---|---|---|
| 解析准确度 | 更高 — 更擅长处理复杂版面 | 标准 |
| 幻觉风险 | 少数情况下可能生成幻觉文本 | 不会产生幻觉 |
复杂格式请使用 MinerU --model vlm。如果需要确保不产生幻觉,请使用 MinerU --model pipeline。
MinerU crawl — 网页提取(需要令牌)
mineru-open-api crawl https://example.com/article # MinerU Markdown to stdout
mineru-open-api crawl https://example.com/article -o ./out/ # Save to file
mineru-open-api crawl url1 url2 -o ./pages/ # MinerU batch crawl
标志:--output/-o、--format/-f(md/json/html)、--timeout、--list、--concurrency。
MinerU auth — 身份验证管理
mineru-open-api auth # Interactive MinerU token setup
mineru-open-api auth --verify # Verify current token
mineru-open-api auth --show # Show token source
输出行为
不使用 -o 时:MinerU 结果 → stdout,进度 → stderr。使用 -o 时:保存到文件/目录。批处理模式和二进制格式(docx)必须使用 -o。
使用 MinerU 的 Agent 规则
- 对包含空格的文件路径加引号:
mineru-open-api extract "report 01.pdf" - 在以下情况下,默认使用 MinerU
flash-extract:未配置令牌、简单提取、文件小于 10 MB / 20 页 - 在以下情况下,使用 MinerU
extract:用户需要非 Markdown 格式、VLM 模型、批量处理,或文件超出 flash-extract 限制 - 用户未指定
-o时,生成输出目录:~/MinerU-Skill/<name>_<hash>/,其中<hash>= 源路径 MD5 的前 6 个字符 - MinerU
flash-extract成功后,附上一条简短提示,说明升级到 MinerUextract的途径(每个会话一次) - 要升级 MinerU,请先重新安装 CLI 二进制文件:
npm install -g mineru-open-api
完整 CLI 参考和故障排查说明请参见:https://github.com/opendatalab/MinerU-Ecosystem/tree/main/cli
支持的 --language 值
--language 标志接受以下值(默认值:ch)。MinerU flash-extract 和 extract 均可使用。
独立语言包
| Value | 包含的语言 | 说明 |
|---|---|---|
ch | 中文、英语、繁体中文 | 中英文(默认值) |
ch_server | 中文、英语、繁体中文、日语 | 繁体、手写体 |
en | 英语 | 纯英文 |
japan | 中文、英语、繁体中文、日语 | 日文为主 |
korean | 韩语、英语 | 韩文 |
chinese_cht | 中文、英语、繁体中文、日语 | 繁体中文为主 |
ta | 泰米尔语、英语 | 泰米尔文 |
te | 泰卢固语、英语 | 泰卢固文 |
ka | 卡纳达语 | 卡纳达文 |
el | 希腊语、英语 | 希腊文 |
th | 泰语、英语 | 泰文 |
语言系列包
| Value | 文字/语系 | 包含的语言 |
|---|---|---|
latin | 拉丁文字(拉丁语系) | 法语、德语、南非语、意大利语、西班牙语、波斯尼亚语、葡萄牙语、捷克语、威尔士语、丹麦语、爱沙尼亚语、爱尔兰语、克罗地亚语、乌兹别克语、匈牙利语、塞尔维亚语(拉丁字母)、印度尼西亚语、奥克语、冰岛语、立陶宛语、毛利语、马来语、荷兰语、挪威语、波兰语、斯洛伐克语、斯洛文尼亚语、阿尔巴尼亚语、瑞典语、斯瓦希里语、他加禄语、土耳其语、拉丁语、阿塞拜疆语、库尔德语、拉脱维亚语、马耳他语、巴利语、罗马尼亚语、越南语、芬兰语、巴斯克语、加利西亚语、卢森堡语、罗曼什语、加泰罗尼亚语、克丘亚语 |
arabic | 阿拉伯文字(阿拉伯语系) | 阿拉伯语、波斯语、维吾尔语、乌尔都语、普什图语、库尔德语、信德语、俾路支语、英语 |
cyrillic | 西里尔文字(西里尔语系) | 俄语、白俄罗斯语、乌克兰语、塞尔维亚语(西里尔字母)、保加利亚语、蒙古语、阿布哈兹语、阿迪格语、卡巴尔达语、阿瓦尔语、达尔格瓦语、印古什语、车臣语、拉克语、列兹金语、塔巴萨兰语、哈萨克语、吉尔吉斯语、塔吉克语、马其顿语、鞑靼语、楚瓦什语、巴什基尔语、马里语、摩尔多瓦语、乌德穆尔特语、科米语、奥塞梯语、布里亚特语、卡尔梅克语、图瓦语、萨哈语、卡拉卡尔帕克语、英语 |
east_slavic | 东斯拉夫语系 | 俄语、白俄罗斯语、乌克兰语、英语 |
devanagari | 天城文(天城文语系) | 印地语、马拉地语、尼泊尔语、比哈尔语、迈蒂利语、安吉卡语、博杰普尔语、马加希语、桑塔利语、尼瓦尔语、孔卡尼语、梵语、哈里亚纳语、英语 |