蛋白质-配体相互作用数据集和评估资源
📚 关于
plinder,全称为蛋白质配体相互作用数据集和评估资源,是一个用于训练和评估蛋白质-配体对接算法的数据集和资源。
这是一个全面、有注释、高质量的数据集,包括:
- 超过400k个PLI系统,涵盖11k多个SCOP结构域和50k多个独特的小分子
- 每个系统有500多个注释,包括蛋白质和配体属性、质量、匹配分子系列等
- 自动化的策展流程,与PDB保持同步
- 14个PLI指标和超过200亿个相似性评分
- 未结合(apo)和_预测的_Alphafold2结构与_holo_系统相关联
训练-验证-测试
数据集划分,能够根据学习任务调整划分- 健壮的评估框架,简化并标准化模型间的性能比较
plinder
项目是由巴塞尔大学、SIB瑞士生物信息学研究所、VantAI、NVIDIA、MIT CSAIL发起的社区努力,将定期更新。
我们非常欢迎贡献!
如果您发现plinder
有用,请查看引用文件了解如何引用的详细信息。
为加速社区采用,PLINDER将作为该领域新的蛋白质-配体相互作用数据集标准,用于即将在2024年结构生物学机器学习(MLSB)研讨会(NeurIPS期间举行的该领域顶级学术聚会之一)上举行的一场激动人心的比赛,该比赛将很快公布。
👨💻 入门
请为plinder
项目使用虚拟环境。
我们推荐使用miniforge环境管理器。
注意:我们目前仅支持Linux环境。plinder
使用openstructure
实现部分功能,可以通过aivant
conda通道使用conda install aivant::openstructure
安装,
但它仅针对Linux架构构建。我们还依赖
networkit>=11.0
,截至撰写时,它在MacOS上无法从源代码顺利构建。对于MacOS用户,请参阅下面的相关
docker资源。
安装plinder
可以从GitHub获取plinder
包:
git clone https://github.com/plinder-org/plinder.git
cd plinder
mamba env create -f environment.yml
mamba activate plinder
pip install .
或者进行开发安装:
cd plinder
pip install -e '.[dev]'
⬇️ 获取数据集
正在进行中的文档可在此处获取,但简而言之,我们提供了两种与plinder
交互的方式:
-
Python API:使用
plinder.core
API,您可以透明且惰性地 下载并与数据集的大多数组件进行交互。 -
通过存储桶中的原始文件:如果您更喜欢直接使用数据集,可以使用
gsutil
从Google云存储获取。
如果您选择第2种方式,请参阅以下部分。
下载数据集
export PLINDER_RELEASE=2024-04 # 当前发布版本
export PLINDER_ITERATION=v1 # 当前迭代版本
gsutil -m cp -r gs://plinder/${PLINDER_RELEASE}/${PLINDER_ITERATION}/* ~/.local/share/plinder/${PLINDER_RELEASE}/${PLINDER_ITERATION}/
注意!:预印本中使用的版本是gs://plinder/2024-04/v1
,但我们计划在8月18日之前发布一个带有更新注释的新版本(gs://plinder/2024-06/v2
),用于MLSB挑战赛。
这将产生以下结构,其中systems
、splits
和index/annotation_table.parquet
对于直接使用最为重要,其余部分包含有用的注释和元数据。
2024-04/ # "plinder发布版本"(`PLINDER_RELEASE`)
|-- v1 # "plinder迭代版本"(`PLINDER_ITERATION`)
| |-- systems # 所有系统的实际结构文件(按`two_char_code`分割并压缩)
| |-- splits # .parquet文件中的系统ID列表和每个分割的配置(如果可用)
| |-- clusters # 根据蛋白质相似性数据集预先计算的聚类标签
| |-- entries # 合并前的原始注释(按`two_char_code`分割并压缩)
| |-- fingerprints # 配体相似性数据集的索引映射文件
| |-- index # 合并后的表格注释
| |-- leakage # 信息泄露结果
| |-- ligand_scores # 配体相似性parquet数据集
| |-- ligands # 从entries扩展的配体数据,用于计算相似性
| |-- linked_structures # 链接的结构
| |-- mmp # 匹配分子系列/对数据
| |-- scores # 扩展的蛋白质相似性parquet数据集
解压结构文件:
与PDB NextGen Archive相同,我们将结构分割成子目录块,以提高加载和查询速度。
结构文件可以在plinder/${PLINDER_RELEASE}/${PLINDER_ITERATION}/systems
子文件夹中找到。要解压结构,请执行以下操作:
cd plinder/${PLINDER_RELEASE}/${PLINDER_ITERATION}/systems; for i in ls *zip; do unzip $i; done
这将产生诸如7zzh__1__1.A_4.A__4.C
这样的目录,这就是我们所称的plinder系统ID
,格式为<pdbid>__<biounit>__<receptor的链ID>__<ligand的链ID>
。
该目录包含mmcif
、pdb
和sdf
文件格式以及一些额外的元数据(如链映射和fastas)。
目录的命名是按system
进行的 - 因为一个给定的PDB条目可能包含多个蛋白质-配体复合物,我们为每个系统分配一个plinder系统ID。这些系统ID
也用于检索分割,如下一步所示。
访问分割文件:
plinder/${PLINDER_RELEASE}/${PLINDER_ITERATION}/splits
包含一个单一parquet文件中的分割索引。最新的分割是gs://plinder/2024-04/v1/splits/plinder-pl50.parquet
,包含预印本中的pl50分割。(再次提醒:这将很快更新为v2,v2分割将用于MLSB排行榜)
>>> import pandas as pd
>>> df = pd.read_parquet("gs://plinder/2024-04/v1/splits/plinder-pl50.parquet")
>>> df.head()
system_id split cluster cluster_for_val_split
0 3grt__1__1.A__1.B train c100718 c0
1 3grt__1__1.A_2.A__1.C train c196491 c0
2 3grt__1__2.A__2.B train c100727 c0
3 3grt__1__1.A_2.A__2.C train c234445 c0
4 1grx__1__1.A__1.B train c186691 c154
使用这些分割文件中包含的system_id
,您可以在解压systems
目录之后加载相应的训练、验证和测试分割。例如,如上面的数据框所示,~/.local/share/plinder/2024-04/v1/systems/1grx__1__1.A__1.B/system.cif
将包含系统的完整mmcif。我们还提供分离的受体(*/receptor.cif
)和配体(*/ligand_files/*.sdf
)的cif文件以及pdb文件(*/receptor.pdb
),但强烈建议使用cif,pdb被认为是遗留文件格式。
注意:论文中用于训练diffdock的是这个版本的一个非冗余且单配体的较小子集,可在2024-04/v0中获取。
该文件夹还包含一个.yaml
文件,是用于生成分割的配置,除非您想重现分割,否则可以忽略。
🔢 Plinder版本
我们使用两个控制来对plinder
数据集进行版本控制:
PLINDER_RELEASE
:最后一次RCSB同步的月份标记PLINDER_ITERATION
:允许在一个发布版本内进行迭代开发的值
我们使用基于git
提交历史的自动化语义版本控制方案对plinder
应用程序进行版本控制。
plinder.data
包负责生成数据集发布,而plinder.core
包使与数据集的交互变得容易。
更新日志:
-
2024-06/v2(即将推出):
- 改进了SDF保存以处理一些键序问题
- 更新了系统定义,使其更稳定且独立于PLIP
- 从BindingDB添加了结合亲和力,并将"has_affinity"作为测试分割的优先级
- 注释了所有晶体接触
- 改进了共价性检测
-
2024-04/v1(当前):通过蛋白质口袋和配体相似性去除冗余的版本。
-
2024-04/v0:用于在论文中重新训练DiffDock的版本,基于<pdbid>_<配体ccd代码>进行冗余去除
🏅 金标准基准测试集
作为plinder
资源的一部分,我们还提供了经过策划的训练、验证和测试分割,以最小化基于蛋白质-配体相互作用相似性的信息泄露。此外,我们优先考虑具有链接的实验apo
结构或匹配分子系列的系统,以支持现实的推断场景,用于命中发现和优化。
最后,我们特别关注测试集,进一步优先考虑包含高质量结构的系统,以提供明确的性能基准测试基准。
此外,由于我们预计这一资源将用于对广泛的方法进行基准测试,包括那些同时预测蛋白质结构(又称共折叠)或生成新的配体结构的方法,我们进一步将测试集分层(按新型配体、口袋、蛋白质或全部)以涵盖广泛的任务。
这将在8月18日的v2版本中提供
⚖️ 评估框架
更多详情请参见plinder.eval
文档。
📦 数据加载器
plinder.data.loader
包含一个使用atom3d
格式的数据集PyTorch
加载器。这是使用plinder.core
API实现数据加载器的一个示例,但并非使用数据集的唯一方式。
注意:该数据加载器需要同时安装torch
和atom3d
。在安装plinder
时可以使用[loader]
依赖块:
pip install .[loader]
ℹ️ 过滤器和注释
更多详情请参见plinder.data
文档。
📡 未来工作
我们目前正在进行以下工作:
- 实现数据加载器
- 建立排行榜
- 改进文档和示例
👨💻 代码组织
此代码分为4个子包
plinder.core
:用于与数据集交互和加载的核心数据结构。plinder.data
:生成数据集的核心代码plinder.eval
:数据集的评估框架,接受预定文件夹结构中的预测结构和真实结构作为输入,并返回可用于排行榜的一组条目plinder.methods
:排行榜中方法的实现,利用plinder原语进行训练和运行
💽 数据集生成
有关数据集生成的技术细节,请参见端到端流程描述。
📝 示例和文档
提供了包文档,包括API文档、示例笔记本和补充指南。
⚙️ 开发指南
要开发和测试源代码的更改,请使用开发安装:
开发模式安装
git clone https://github.com/plinder-org/plinder.git
# 或
git clone git@github.com:plinder-org/plinder.git
cd plinder
mamba env create -f environment.yml
mamba activate plinder
pip install -e '.[dev]'
请安装预提交钩子(CI中将运行相同的检查):
pre-commit install
测试套件
测试代码风格检查:
tox -e lint
运行类型检查:
tox -e type
运行测试套件:
tox -e test
我们使用ruff
进行代码风格检查。详情请参见tox.ini
和.pre-commit-config.yaml
。
调试
要更改plinder
中的日志级别,请设置:
export PLINDER_LOG_LEVEL=10
贡献
这是一项社区努力,因此我们非常鼓励贡献。
包发布
我们将plinder
项目作为docker容器发布,以确保与非Linux平台的最高兼容性。有关更多详细信息,请参见此处的相关docker资源:
docker-compose.yml
:定义了一个base
镜像、plinder
"应用"和一个test
容器dockerfiles/base/
:包含base
镜像的文件dockerfiles/main/
:包含plinder
"应用"镜像的文件
CI工作流将在合并到main
分支时自动对plinder
版本进行语义版本升级,并将plinder
镜像发布到GitHub容器注册表。通过检查自上次发布以来的提交历史来控制版本升级语义:
- 如果提交消息中存在
bumpversion skip
,则不会升级版本 - 如果提交消息中存在
bumpversion major
,则会升级主要版本 - 如果提交消息中存在
bumpversion minor
,则会升级次要版本 - 如果提交消息中存在
bumpversion patch
(或未找到任何内容),则会升级补丁版本
注意:CI工作流将使用提交历史中最近的匹配项来做出决定。
📃 出版物
Durairaj, Janani, Yusuf Adeshina, Zhonglin Cao, Xuejin Zhang, Vladas Oleinikovas, Thomas Duignan, Zachary McClure, Xavier Robin, Emanuele Rossi, Guoqing Zhou, Srimukh Prasad Veccham, Clemens Isert, Yuxing Peng, Prabindh Sundareson, Mehmet Akdel, Gabriele Corso, Hannes Stärk, Zachary Wayne Carpenter, Michael M. Bronstein, Emine Kucukbenli, Torsten Schwede, Luca Naef. 2024. "PLINDER: 蛋白质-配体相互作用数据集和评估资源。" bioRxiv ICML'24 ML4LMS