Nougat: 学术文献的神经光学理解

这是Nougat的官方代码库，Nougat是一个能够理解LaTeX数学公式和表格的学术文献PDF解析器。

项目主页：https://facebookresearch.github.io/nougat/

安装

从pip安装：

pip install nougat-ocr

从代码库安装：

pip install git+https://github.com/facebookresearch/nougat

注意，Windows用户：如果你想使用GPU，请确保先安装正确版本的PyTorch。请按照这里的说明进行操作。

如果你想通过API调用模型或生成数据集，还需要额外的依赖项。通过以下方式安装：

pip install "nougat-ocr[api]" 或 pip install "nougat-ocr[dataset]"

获取PDF的预测结果

命令行界面

要获取PDF的预测结果，运行：

$ nougat path/to/file.pdf -o output_directory

也可以将目录路径或每行包含PDF路径的文件路径作为位置参数传递：

$ nougat path/to/directory -o output_directory

用法：nougat [-h] [--batchsize BATCHSIZE] [--checkpoint CHECKPOINT] [--model MODEL] [--out OUT]
              [--recompute] [--markdown] [--no-skipping] pdf [pdf ...]

位置参数：
  pdf                   要处理的PDF文件。

选项：
  -h, --help            显示此帮助信息并退出
  --batchsize BATCHSIZE, -b BATCHSIZE
                        要使用的批处理大小。
  --checkpoint CHECKPOINT, -c CHECKPOINT
                        检查点目录路径。
  --model MODEL_TAG, -m MODEL_TAG
                        要使用的模型标签。
  --out OUT, -o OUT     输出目录。
  --recompute           重新计算已处理的PDF，丢弃之前的预测结果。
  --full-precision      使用float32而不是bfloat16。对某些设置可以加速CPU转换。
  --no-markdown         不添加Markdown兼容性的后处理步骤。
  --markdown            添加Markdown兼容性的后处理步骤（默认）。
  --no-skipping         不应用失败检测启发式。
  --pages PAGES, -p PAGES
                        提供页码，如'1-4,7'表示第1页到第4页和第7页。仅适用于单个PDF文件。

默认的模型标签是0.1.0-small。如果你想使用基础模型，使用0.1.0-base。

$ nougat path/to/file.pdf -o output_directory -m 0.1.0-base

在输出目录中，每个PDF将被保存为一个.mmd文件，这是一种轻量级标记语言，主要与Mathpix Markdown兼容（我们使用了LaTeX表格）。

注意：在某些设备上，失败检测启发式可能无法正常工作。如果你遇到大量[MISSING_PAGE]响应，请尝试使用--no-skipping标志运行。相关问题：#11，#67

API

通过额外的依赖项，你可以使用app.py启动API。运行：

$ nougat_api

要通过向 http://127.0.0.1:8503/predict/ 发送 POST 请求来获取 PDF 文件的预测结果。它还接受参数 start 和 stop 来限制计算的页码范围（包含边界）。

响应是一个包含文档 markdown 文本的字符串。

curl -X 'POST' \
  'http://127.0.0.1:8503/predict/' \
  -H 'accept: application/json' \
  -H 'Content-Type: multipart/form-data' \
  -F 'file=@<PDFFILE.pdf>;type=application/pdf'

要将转换限制在第 1 页到第 5 页，请在请求 URL 中使用 start/stop 参数：http://127.0.0.1:8503/predict/?start=1&stop=5

数据集

生成数据集

要生成数据集，你需要：

包含 PDF 文件的目录
包含 .html 文件（由 LaTeXML 处理的 .tex 文件）的目录，具有相同的文件夹结构
pdffigures2 的二进制文件和相应的环境变量 export PDFFIGURES_PATH="/path/to/binary.jar"

接下来运行

python -m nougat.dataset.split_htmls_to_pages --html path/html/root --pdfs path/pdf/root --out path/paired/output --figure path/pdffigures/outputs

其他参数包括

参数	描述
`--recompute`	重新计算所有分割
`--markdown MARKDOWN`	Markdown 输出目录
`--workers WORKERS`	使用的进程数
`--dpi DPI`	页面保存的分辨率
`--timeout TIMEOUT`	每篇论文的最大处理时间（秒）
`--tesseract`	对每页进行 Tesseract OCR 预测

最后创建一个包含所有图像路径、markdown 文本和元信息的 jsonl 文件。

python -m nougat.dataset.create_index --dir path/paired/output --out index.jsonl

对于每个 jsonl 文件，你还需要生成一个寻址映射以加快数据加载：

python -m nougat.dataset.gen_seek file.jsonl

生成的目录结构可能如下所示：

root/
├── images
├── train.jsonl
├── train.seek.map
├── test.jsonl
├── test.seek.map
├── validation.jsonl
└── validation.seek.map

注意，path/paired/output（此处为 images）中的 .mmd 和 .json 文件不再需要。这对于将数据推送到 S3 存储桶时减少文件数量很有用。

训练

要训练或微调 Nougat 模型，运行

python train.py --config config/train_nougat.yaml

评估

运行

python test.py --checkpoint path/to/checkpoint --dataset path/to/test.jsonl --save_path path/to/results.json

要获取不同文本模态的结果，运行

python -m nougat.metrics path/to/results.json

常见问题

为什么我只得到 [MISSING_PAGE]？

Nougat 是在 arXiv 和 PMC 上的科学论文上训练的。你正在处理的文档是否与之类似？文档使用什么语言？Nougat 最适合英语论文，其他基于拉丁字母的语言可能也能工作。中文、俄语、日语等将无法工作。如果这些要求都满足，可能是由于在 CPU 或较旧的 GPU 上计算时失败检测出现误报（#11）。现在可以尝试传递 --no-skipping 标志。
在哪里可以下载模型检查点？

它们上传在 GitHub 的发布部分。你也可以在程序首次执行时下载它们。通过传递 --model 0.1.0-{base,small} 来选择首选模型。

引用

@misc{blecher2023nougat,
      title={Nougat: Neural Optical Understanding for Academic Documents}, 
      author={Lukas Blecher and Guillem Cucurull and Thomas Scialom and Robert Stojnic},
      year={2023},
      eprint={2308.13418},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

致谢

本仓库是在 Donut 仓库的基础上构建的。

许可证

Nougat 代码库采用 MIT 许可证。

Nougat 模型权重采用 CC-BY-NC 许可证。