paperetl
医学科学论文ETL处理库
paperetl是一个处理医学和科学论文的ETL库，支持PDF、XML、CSV等多种输入格式和COVID-19研究数据集。可将处理后的文章数据输出至SQLite、Elasticsearch、JSON或YAML文件。该工具安装简便，提供详细示例，有助于研究人员高效管理和分析大量学术文献。
paperetl是一个用于处理医学和科学论文的ETL库。
paperetl支持以下来源：
- 文件格式：
- XML（arXiv、PubMed、TEI）
- CSV
- COVID-19研究数据集（CORD-19）
paperetl支持以下存储文章的输出选项：
- SQLite
- Elasticsearch
- JSON文件
- YAML文件
安装
最简单的安装方式是通过pip和PyPI
pip install paperetl
支持Python 3.8+。建议使用Python虚拟环境。
paperetl也可以直接从GitHub安装，以访问最新的未发布功能。
pip install git+https://github.com/neuml/paperetl
附加依赖
PDF解析依赖于已运行的GROBID实例。假设这在ETL服务器上本地运行。这仅对PDF文件是必要的。
注意：在某些情况下，GROBID引擎池可能会耗尽，导致503错误。可以通过在GROBID配置文件中增加concurrency和/或poolMaxWait来解决这个问题。
Docker
本仓库中提供了一个Dockerfile，其中包含安装paperetl、所有依赖项和脚本的命令。
wget https://raw.githubusercontent.com/neuml/paperetl/master/docker/Dockerfile
docker build -t paperetl -f Dockerfile .
docker run --name paperetl --rm -it paperetl
这将启动一个paperetl命令shell。可以使用标准Docker命令来复制文件，或者直接在shell中运行命令来检索输入内容。
示例
笔记本
| 笔记本 | 描述 | |
|---|---|---|
| 介绍paperetl | paperetl提供的功能概述 |  |
将文章加载到SQLite
以下示例展示如何使用paperetl将一组医学/科学文章加载到SQLite数据库中。
-
在本地目录中下载所需的医学/科学文章。在本例中，假设文章位于名为
paperetl/data的目录中 -
构建数据库
python -m paperetl.file paperetl/data paperetl/models
完成后，paperetl/models中将有一个articles.sqlite文件
加载到Elasticsearch
Elasticsearch也是一个支持的数据存储，如下所示。本例假设Elasticsearch在本地运行，根据需要将URL更改为远程服务器。
python -m paperetl.file paperetl/data http://localhost:9200
完成后，Elasticsearch中将有一个articles索引，其中存储了元数据和全文。
将文章转换为JSON/YAML
paperetl还可用于将文章转换为JSON或YAML文件。如果数据要输入到另一个系统中，或者用于手动检查/调试单个文件，这将非常有用。
JSON：
python -m paperetl.file paperetl/data json://paperetl/json
YAML：
python -m paperetl.file paperetl/data yaml://paperetl/yaml
转换后的文件将存储在paperetl/(json|yaml)中
加载CORD-19
注意：CORD-19的最终版本于2022-06-22发布。但这仍然是一个大型且有价值的医学文档集。
以下示例展示如何使用paperetl将CORD-19数据集加载到SQLite数据库中。
-
从Allen Institute for AI CORD-19发布页面下载并解压数据集。
scripts/getcord19.sh cord19/data上述脚本将检索并解压最新版本的CORD-19到名为
cord19/data的目录中。可选的第二个参数以YYYY-MM-DD格式（例如2021-01-01）设置数据集的特定日期，默认为最新日期。 -
为当前版本的数据集生成entry-dates.csv
python -m paperetl.cord19.entry cord19/data可选的第二个参数以YYYY-MM-DD格式（例如2021-01-01）设置数据集的特定日期，默认为最新日期。这应与步骤1中使用的日期相匹配。
-
构建数据库
python -m paperetl.cord19 cord19/data cord19/models完成后，cord19/models中将有一个articles.sqlite文件。与前面的示例一样，数据也可以加载到Elasticsearch中。
python -m paperetl.cord19 cord19/data http://localhost:9200
编辑推荐精选
酷表ChatExcel
大模型驱动的Excel数据处理工具
基于大模型交互的表格处理系统，允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令，自动执行排序、公式计算和数据透视等操作，支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内，支持超过100万行数据的即时分析。
DeepEP
DeepSeek开源的专家并行通信优化框架
DeepEP是一个专为大规模分布式计算设计的通信库，重点解决专家并行模式中的通信瓶颈问题。其核心架构采用分层拓扑感知技术，能够自动识别节点间物理连接关系，优化数据传输路径。通过实现动态路由选择与负载均衡机制，系统在千卡级计算集群中维持稳定的低延迟特性，同时兼容主流深度学习框架的通信接口。
DeepSeek
全球领先开源大模型，高效智能助手
DeepSeek是一家幻方量化创办的专注于通用人工智能的中国科技公司，主攻大模型研发与应用。DeepSeek-R1是开源的推理模型，擅长处理复杂任务且可免费商用。
问小白
DeepSeek R1 满血模型上线
问小白是一个基于 DeepSeek R1 模型的智能对话平台，专为用户提供高效、贴心的对话体验。实时在线，支持深度思考和联网搜索。免费不限次数，帮用户写作、创作、分析和规划，各种任务随时完成！
KnowS
AI医学搜索引擎 整合4000万+实时更新的全球医学文献
医学领域专用搜索引擎整合4000万+实时更新的全球医学文献，通过自主研发AI模型实现精准知识检索。系统每日更新指 南、中英文文献及会议资料，搜索准确率较传统工具提升80%，同时将大模型幻觉率控制在8%以下。支持临床建议生成、文献深度解析、学术报告制作等全流程科研辅助，典型用户反馈显示每周可节省医疗工作者70%时间。
Windsurf Wave 3
Windsurf Editor推出第三次重大更新Wave 3
新增模型上下文协议支持与智能编辑功能。本次更新包含五项核心改进：支持接入MCP协议扩展工具生态，Tab键智能跳转提升编码效率，Turbo模式实现自动化终端操作，图片拖拽功能优化多模态交互，以及面向付费用户的个性化图标定制。系统同步集成DeepSeek、Gemini等新模型，并通过信用点数机制实现差异化的资源调配。
腾讯元宝
腾讯自研的混元大模型AI助手
腾讯元宝是腾讯基于自研的混元大模型推出的一款多功能AI应用，旨在通过人工智能技术提升用户在写作、绘画、翻译、编程、搜索、阅读总结等多个领域的工作与生活效率。
Grok3
埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型
Grok3 是由埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型，常被马斯克称为“地球上最聪明的 AI”。它不仅是在前代产品 Grok 1 和 Grok 2 基础上的一次飞跃，还在多个关键技术上实现了创新突破。
OmniParser
帮助AI理解电脑屏幕 纯视觉GUI元素的自动化解析方案
开源工具通过计算机视觉技术实现图形界面元素的智能识别与结构化处理，支持自动化测试脚本生成和辅助功能开发。项目采用模块化设计，提供API接口与多种输出格式，适用于跨平台应用场景。核心算法优化了元素定位精度，在动态界面和复杂布局场景下保持稳定解析能力。
流畅阅读
AI网页翻译插件 双语阅读工具，还原母语级体验
流畅阅读是一款浏览器翻译插件，通过上下文智能分析提升翻译准确性，支持中英双语对照显示。集成多翻译引擎接口，允许用户自定义翻译规则和快捷键配置，操作数据全部存储在本地设备保障隐私安全。兼容Chrome、Edge、Firefox等主流浏览器，基于GPL-3.0开源协议开发，提供持续的功能迭代和社区支持。
推荐工具精选
AI云服务特惠
懂AI专属折扣关注微信公众号
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号