访问官网
Github
文档关于
这个仓库提供了连接 llmsherpa API 的服务代码。 该仓库包含了针对以下文件格式的自定义 RAG（检索增强生成）友好解析器：
PDF 解析器是一个基于规则的解析器，它使用文本坐标（边界框）、图形和字体数据，这些数据来自 nlmatics 修改版的 tika，可在此处找到：https://github.com/nlmatics/nlm-tika。 PDF 解析器基于文本层工作，并提供 OCR 选项（apply_ocr），以便在 PDF 中有扫描页面时自动使用 OCR。OCR 功能基于 nlmatics 修改版的 tika，底层使用 tesseract。 查看笔记本 pdf_visual_ingestor_step_by_step 以直接体验 PDF 解析器。
PDF 解析器提供以下功能：
- 带层级的章节和子章节。
- 段落 - 合并行。
- 章节和段落之间的链接。
- 表格及其所在章节。
- 列表和嵌套列表。
- 跨页内容的连接。
- 去除重复的页眉和页脚。
- 水印去除。
- 带边界框的 OCR
HTML
一个特殊的 HTML 解析器，创建布局感知块，以提高 RAG 性能，获得更高质量的文本块。
文本
一个特殊的文本解析器，仅通过查看文本而不依赖视觉、字体或边界框信息来识别列表、表格、标题等。
DOCX、PPTX 和 Apache Tika 支持的任何其他格式
处理这些类型文档有两种方式：
- 使用 tika 生成的这些文件类型的 html 输出，并由 html 解析器进行解析
安装步骤：
直接运行每个步骤
- 从 https://www.oracle.com/java/technologies/downloads/ 安装最新版本的 Java
- 运行 tika 服务器：
java -jar <path_to_nlm_ingestor>/jars/tika-server-standard-nlm-modified-2.9.2_v2.jar
- 安装 ingestor
!pip install nlm-ingestor
- 运行 ingestor
python -m nlm_ingestor.ingestion_daemon
运行 Docker 文件
通过公共 GitHub 容器注册表提供 Docker 镜像。
拉取 Docker 镜像
docker pull ghcr.io/nlmatics/nlm-ingestor:latest
运行 Docker 镜像，将端口 5001 映射到您选择的端口。
docker run -p 5010:5001 ghcr.io/nlmatics/nlm-ingestor:latest-<version>
服务器运行后，您可以使用 llmsherpa API 库获取文本块，并将其用于您的 LLM 项目。您的 llmsherpa_url 将是： "http://localhost:5010/api/parseDocument?renderFormat=all"
- 要应用 OCR，请添加 &applyOcr=yes
- 要使用新的缩进解析器（使用不同算法分配标题级别），请添加 &useNewIndentParser=yes
- 此服务器适用于开发环境 - 在生产环境中，建议使用 nginx 或云网关在安全网关后运行
测试 ingestor 服务器
使用 llmsherpa 解析器测试服务器的示例代码可在此 笔记本 中找到。
基于规则的解析器 vs 基于模型的解析器
在 4 年的时间里，nlmatics 团队评估了各种选项，包括由 Tom Liu 和 Yi Zhang 开发的基于 YOLO 的视觉解析器。最终，我们选择了基于规则的解析器，原因如下：
- 与任何视觉解析器相比，它的速度要快得多（100 倍）。使用视觉解析器时，即使对于有文本层的 PDF，也必须至少为所有页面创建图像。我们认为，视觉解析器更适合没有文本层的 OCR PDF，或包含表单类数据的小型 PDF 文件，但对于跨越数百页的大型文本层 PDF，像我们这样的基于规则的解析器更实用。
- 如果不使用 PDF OCR 功能，不需要特殊硬件即可运行此解析器。您可以使用 2000 年代初期的硬件运行它！
- 我们发现视觉解析器（或任何解析器，包括这个）都容易出错，而修复模型错误的解决方案并不理想：
- 向训练集添加更多示例可能会降低模型先前学习的准确性，导致以前正常工作的代码出现不确定性
- 使用基于规则的想法来修复基于模型的解析器问题，又会回到编写大量规则的老路上
致谢
PDFparser 中的 visual_ingestor 和 new_indent_parser 由 Ambika Sukla 编写，Reshav Abraham 提供了额外贡献，他编写了修改 tika 的初始代码，Tom Liu 编写了原始的 Indent Parser，Kiran Panicker 对解析速度、表格解析准确性、缩进解析准确性和重排序准确性进行了多项改进。
HTML Ingestor 由 Tom Liu 编写。
Markdown Parser 由 Yi Zhang 编写。
Text Ingestor 由 Reshav Abraham 编写。
XML Ingestor 由 Ambika Sukla 编写，主要用于处理 PubMed XML。
line_parser 作为所有其他解析器的核心句子处理实用程序，由 Ambika Sukla 编写。
此外，我们感谢 Apache PDFBox 和 Tika 开发者社区多年来为 PDF 解析器提供基础。
Nlm 修改版 Tika
Nlm 修改版的 Tika 可在此处的 2.4.1-nlm 分支中找到：https://github.com/nlmatics/nlm-tika/tree/2.4.1-nlm 为方便起见，此仓库的 jars/ 文件夹中包含了编译后的 jar 文件。 在某些情况下，您的 PDF 可能会在 Java 服务器中导致错误，您需要修改那里的代码以解决问题并重新编译 jar 文件。
以下文件进行了更改：
- https://github.com/nlmatics/nlm-tika/blob/2.4.1-nlm/tika-parsers/tika-parsers-standard/tika-parsers-standard-modules/tika-parser-pdf-module/src/main/java/org/apache/tika/parser/pdf/PDF2XHTML.java
- https://github.com/nlmatics/nlm-tika/blob/2.4.1-nlm/tika-parsers/tika-parsers-standard/tika-parsers-standard-modules/tika-parser-pdf-module/src/main/java/org/apache/tika/parser/pdf/AbstractPDF2XHTML.java
上述更改是为每个文本元素添加字体和坐标。它还会移除水印。
上述更改是添加可能有助于表格检测的线条和矩形。
要查看这些更改的影响，请参见此笔记本的第一部分：https://github.com/nlmatics/nlm-ingestor/blob/main/notebooks/pdf_visual_ingestor_step_by_step.ipynb
未来工作的一些想法：
- 通过编写自己的 pdfbox 包装器，使更改独立于 tika
- 升级到最新版本的 tika
- 清理返回的 html 格式，使其更加 CSS 友好
