paperetl

医学和科学论文的ETL处理

paperetl是一个用于处理医学和科学论文的ETL库。

paperetl支持以下来源：

• 文件格式：
  • PDF
  • XML（arXiv、PubMed、TEI）
  • CSV
• COVID-19研究数据集（CORD-19）

paperetl支持以下存储文章的输出选项：

• SQLite
• Elasticsearch
• JSON文件
• YAML文件

安装

最简单的安装方式是通过pip和PyPI

pip install paperetl

支持Python 3.8+。建议使用Python虚拟环境。

paperetl也可以直接从GitHub安装，以访问最新的未发布功能。

pip install git+https://github.com/neuml/paperetl

附加依赖

PDF解析依赖于已运行的GROBID实例。假设这在ETL服务器上本地运行。这仅对PDF文件是必要的。

• GROBID安装说明
• GROBID启动服务

注意：在某些情况下，GROBID引擎池可能会耗尽，导致503错误。可以通过在GROBID配置文件中增加concurrency和/或poolMaxWait来解决这个问题。

Docker

本仓库中提供了一个Dockerfile，其中包含安装paperetl、所有依赖项和脚本的命令。

wget https://raw.githubusercontent.com/neuml/paperetl/master/docker/Dockerfile
docker build -t paperetl -f Dockerfile .
docker run --name paperetl --rm -it paperetl

这将启动一个paperetl命令shell。可以使用标准Docker命令来复制文件，或者直接在shell中运行命令来检索输入内容。

示例

笔记本

笔记本	描述
介绍paperetl	paperetl提供的功能概述

将文章加载到SQLite

以下示例展示如何使用paperetl将一组医学/科学文章加载到SQLite数据库中。

1. 在本地目录中下载所需的医学/科学文章。在本例中，假设文章位于名为paperetl/data的目录中

2. 构建数据库

   python -m paperetl.file paperetl/data paperetl/models
   

完成后，paperetl/models中将有一个articles.sqlite文件

加载到Elasticsearch

Elasticsearch也是一个支持的数据存储，如下所示。本例假设Elasticsearch在本地运行，根据需要将URL更改为远程服务器。

python -m paperetl.file paperetl/data http://localhost:9200

完成后，Elasticsearch中将有一个articles索引，其中存储了元数据和全文。

将文章转换为JSON/YAML

paperetl还可用于将文章转换为JSON或YAML文件。如果数据要输入到另一个系统中，或者用于手动检查/调试单个文件，这将非常有用。

JSON：

python -m paperetl.file paperetl/data json://paperetl/json

YAML：

python -m paperetl.file paperetl/data yaml://paperetl/yaml

转换后的文件将存储在paperetl/(json|yaml)中

加载CORD-19

注意：CORD-19的最终版本于2022-06-22发布。但这仍然是一个大型且有价值的医学文档集。

以下示例展示如何使用paperetl将CORD-19数据集加载到SQLite数据库中。

1. 从Allen Institute for AI CORD-19发布页面下载并解压数据集。

   scripts/getcord19.sh cord19/data
   

   上述脚本将检索并解压最新版本的CORD-19到名为cord19/data的目录中。可选的第二个参数以YYYY-MM-DD格式（例如2021-01-01）设置数据集的特定日期，默认为最新日期。

2. 为当前版本的数据集生成entry-dates.csv

   python -m paperetl.cord19.entry cord19/data
   

   可选的第二个参数以YYYY-MM-DD格式（例如2021-01-01）设置数据集的特定日期，默认为最新日期。这应与步骤1中使用的日期相匹配。

3. 构建数据库

   python -m paperetl.cord19 cord19/data cord19/models
   

   完成后，cord19/models中将有一个articles.sqlite文件。与前面的示例一样，数据也可以加载到Elasticsearch中。

   python -m paperetl.cord19 cord19/data http://localhost:9200