MinerU：一站式开源高质量数据提取工具

MinerU

MinerU：革新数据提取的开源利器

在当今数字化时代，从各种文档中快速、准确地提取信息变得至关重要。MinerU应运而生，它是一款开创性的开源工具，专门设计用于高质量数据提取。这个项目不仅仅是一个简单的文本提取器，它代表了数据处理领域的一次重大飞跃。

项目起源与愿景

MinerU的诞生源于InternLM的预训练过程。开发团队在处理大量科学文献时，意识到现有工具在符号转换方面存在严重缺陷。这促使他们开始构建一个能够精确处理复杂文档的工具。MinerU的核心目标是解决科学文献中的符号转换问题，为大模型时代的技术发展做出贡献。

虽然MinerU相对于知名商业产品来说还很年轻，但它展现出了巨大的潜力。开发团队鼓励用户在遇到问题或结果不如预期时，通过GitHub Issues提交反馈，并附上相关的PDF文件。这种开放和互动的开发模式确保了MinerU能够不断优化和进步。

核心功能亮点

MinerU的功能设计充分考虑了现代文档处理的复杂需求：

智能元素移除：自动去除页眉、页脚、脚注和页码，同时保持文档的语义连贯性。
多列文档处理：能够按照人类可读的顺序输出多列文档中的文本。
结构保留：精确保留文档的原始结构，包括标题、段落和列表。
多媒体元素提取：轻松提取图像、图片说明、表格及其说明。
公式识别与转换：自动识别文档中的公式，并将其转换为LaTeX格式。
表格识别与转换：自动识别文档中的表格，并将其转换为LaTeX格式。
智能OCR：自动检测并为损坏的PDF启用OCR功能。
跨平台支持：同时支持CPU和GPU环境，兼容Windows、Linux和Mac平台。

这些功能使MinerU成为了一个全面而强大的数据提取工具，能够应对各种复杂的文档处理场景。

快速上手体验

为了让用户能够迅速体验MinerU的强大功能，项目提供了多种使用方式：

在线演示：无需安装，直接体验。点击这里访问在线演示。
CPU快速演示：适用于Windows、Linux和Mac用户，只需简单的安装步骤即可在本地运行。
GPU加速：对于拥有支持CUDA的设备的用户，可以利用GPU加速功能获得更快的处理速度。

MinerU Star History

安装与配置

MinerU的安装过程经过精心设计，力求简单直观。以下是基本的安装步骤：

创建并激活conda环境：

conda create -n MinerU python=3.10
conda activate MinerU

安装MinerU：

pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com

下载模型权重文件（详细指南请参考如何下载模型文件）。
配置模板文件：
```
cp magic-pdf.template.json ~/magic-pdf.json
```
然后编辑~/magic-pdf.json文件，设置正确的模型目录路径。

深入使用指南

MinerU提供了灵活的使用方式，包括命令行接口和API：

命令行使用

magic-pdf -p {some_pdf} -o {some_output_dir} -m auto

这个命令将处理指定的PDF文件或目录，并将结果保存在指定的输出目录中。输出包括markdown文件、图像、布局图等多种格式。

API使用

MinerU的API设计灵活，支持从本地磁盘和对象存储处理文件：

from magic_pdf import DiskReaderWriter, UNIPipe

image_writer = DiskReaderWriter(local_image_dir)
image_dir = str(os.path.basename(local_image_dir))
jso_useful_key = {"_pdf_type": "", "model_list": []}
pipe = UNIPipe(pdf_bytes, jso_useful_key, image_writer)
pipe.pipe_classify()
pipe.pipe_analyze()
pipe.pipe_parse()
md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

这种API使用方式为开发者提供了极大的灵活性，可以轻松集成MinerU到各种应用场景中。