ByProt
ByProt是一款专注于蛋白质研究的通用工具包。它目前主要集中于基于结构的序列设计(又称固定主链)领域,提供以下关键功能:
- 高效的非自回归ProteinMPNN变体: ByProt提供了一种高效有效的非自回归ProteinMPNN变体,这是一个功能强大的固定主链蛋白质序列设计工具。
- LM-Design的官方实现: ByProt是LM-Design的官方实现,这是一种最先进的蛋白质序列设计模型,发表在ICML 2023上(口头报告)。更多详情请参考论文。
我们正在不断扩展ByProt的功能,以涵盖更广泛的任务和特性。请关注我们的更新,我们将提供更全面的蛋白质研究工具包。
安装
# 克隆项目
git clone --recursive https://url/to/this/repo/ByProt.git
cd ByProt
# 创建conda虚拟环境
env_name=ByProt
conda create -n ${env_name} python=3.7 pip
conda activate ${env_name}
# 自动安装其他所有依赖
bash install.sh
基于结构的蛋白质序列设计(反折叠)
预训练模型权重 (Zenodo)
模型 | 训练数据 | 检查点 |
---|---|---|
protein_mpnn_cmlm | cath_4.2 | 链接 |
lm_design_esm1b_650m | cath_4.2 | 链接 |
lm_design_esm2_650m | cath_4.2 | 链接 |
lm_design_esm2_650m | multichain | 链接 |
数据
下载预处理的CATH数据集
- CATH 4.2数据集由Generative Models for Graph-Based Protein Design (Ingraham et al, NeurIPS'19)提供
- CATH 4.3数据集由Learning inverse folding from millions of predicted structures (Hsu et al, ICML'22)提供
bash scripts/download_cath.sh
检查configs/datamodule/cath_4.*.yaml
并将data_dir
设置为下载的CATH数据的路径。
下载PDB复合体数据(多链)
这个数据集整理了来自蛋白质数据库(PDB)的蛋白质(多链)复合体。 它由Robust deep learning-based protein sequence design using ProteinMPNN提供。 更多详情请参见他们的GitHub页面。
bash scripts/download_multichain.sh
检查configs/datamodule/multichain.yaml
并将data_dir
设置为下载的多链数据的路径。
准备好了一切,我们可以开始训练模型了。
训练
示例1: 非自回归(NAR) ProteinMPNN基线
使用条件掩码语言建模(CMLM)训练NAR ProteinMPNN
export CUDA_VISIBLE_DEVICES=0
# 或使用多GPU训练:
# export CUDA_VISIBLE_DEVICES=0,1
exp=fixedbb/protein_mpnn_cmlm
dataset=cath_4.2
name=fixedbb/${dataset}/protein_mpnn_cmlm
python ./train.py \
experiment=${exp} datamodule=${dataset} name=${name} \
logger=tensorboard trainer=ddp_fp16
一些训练参数:
参数 | 用途 |
---|---|
experiment | 实验配置,请参见ByProt/configs/experiment/ 文件夹 |
datamodule | 数据集配置,请参见ByProt/configs/datamodule 文件夹 |
name | 实验名称,决定了实验结果保存的目录路径,例如:/root/research/projects/ByProt/run/logs/${name} |
logger | 机器学习实验记录器的配置,例如tensorboard |
train.force_restart | 设置为true 以强制在${name} 下重新训练实验,否则将从最后一个检查点恢复训练 |
示例2: LM-Design
在ESM-1b 650M模型基础上训练LM-Design。
在一台A100 GPU上训练大约需要6个小时。
exp=fixedbb/lm_design_esm1b_650m
dataset=cath_4.2
name=fixedbb/${dataset}/lm_design_esm1b_650m
./train.py \
experiment=${exp} datamodule=${dataset} name=${name} \
logger=tensorboard trainer=ddp_fp16
使用exp=fixedbb/lm_design_esm2*
在ESM-2系列上构建LM-Design。请检查ByProt/configs/experiment/fixedbb
。
在验证/测试数据集上进行评估/推理
dataset=cath_4.2
# name=fixedbb/${dataset}/protein_mpnn_cmlm
name=fixedbb/${dataset}/lm_design_esm1b_650m
exp_path=/root/research/projects/ByProt/run/logs/${name}
python ./test.py \
experiment_path=${exp_path} \
data_split=test ckpt_path=best.ckpt mode=predict \
task.generator.max_iter=5
一些生成参数:
参数 | 用途 |
---|---|
experiment_path | 保存实验结果的文件夹(.hydra, checkpoints, tensorboard等) |
data_split | valid 或test 数据集 |
mode | predict 用于生成序列和计算氨基酸序列恢复率; test 用于评估nll、ppl |
task.generator | 序列生成器/采样器的参数 |
- max_iter=<int> | 最大解码迭代次数(默认: 5 用于LM-Design, 1 用于ProtMPNN-CMLM) |
- strategy=[denoise, mask_predict] | 解码策略(默认: denoise 用于LM-Design, mask_predict 用于ProtMPNN-CMLM) |
- temperature=<float> | 采样温度,设置为0以禁用随机采样并使用确定性采样(默认: 0 ) |
- eval_sc=<bool> | 使用ESMFold额外评估scTM分数(默认: false ) |
在笔记本电脑上使用训练好的模型设计来自PDB文件的序列
示例1: ProteinMPNN-CMLM
from byprot.utils.config import compose_config as Cfg
from byprot.tasks.fixedbb.designer import Designer
# 1. 实例化设计器
exp_path = "/root/research/projects/ByProt/run/logs/fixedbb/cath_4.2/protein_mpnn_cmlm"
cfg = Cfg(
cuda=True,
generator=Cfg(
max_iter=1,
strategy='mask_predict',
temperature=0,
eval_sc=False,
)
)
designer = Designer(experiment_path=exp_path, cfg=cfg)
# 2. 从PDB文件加载结构
pdb_path = "/root/research/projects/ByProt/data/3uat_variants/3uat_GK.pdb"
designer.set_structure(pdb_path)
# 3. 从给定结构生成序列
designer.generate()
# 4. 计算评估指标
designer.calculate_metrics()
## 预测: SSYNPPILLLGPFAEELEEELVEENPERAGRPVPFTTEPPSPDETEGETYLYISSLEEAEELIESNRFLEAGEENNELVGISLEAIRSVARAGKLAILDTGGEAVEKLEEANIEPIVIFLVPKSVEDVRRVFPDLTEEEAEELTSEDEELLEEFKELLDAVVSGSTLEEVLEEIREVIEEASS
## 恢复率: 0.37158469945355194
示例2: LM-Design
from byprot.utils.config import compose_config as Cfg
from byprot.tasks.fixedbb.designer import Designer
# 1. 实例化设计器
exp_path = "/root/research/projects/ByProt/run/logs/fixedbb/cath_4.2/lm_design_esm2_650m"
cfg = Cfg(
cuda=True,
generator=Cfg(
max_iter=5,
strategy='denoise',
temperature=0,
eval_sc=False,
)
)
designer = Designer(experiment_path=exp_path, cfg=cfg)
# 2. 从PDB文件加载结构
pdb_path = "/root/research/projects/ByProt/data/3uat_variants/3uat_GK.pdb"
designer.set_structure(pdb_path)
# 3. 从给定结构生成序列
designer.generate()
# 你可以通过传递generator_args来覆盖生成器参数,例如:
designer.generate(
generator_args={
'max_iter': 5,
'temperature': 0.1,
}
)
# 4. 计算评估指标
designer.calculate_metrics()
## 预测: LNYTRPVIILGPFKDRMNDDLLSEMPDKFGSCVPHTTRPKREYEIDGRDYHFVSSREEMEKDIQNHEFIEAGEYNDNLYGTSIESVREVAMEGKHCILDVSGNAIQRLIKADLYPIAIFIRPRSVENVREMNKRLTEEQAKEIFERAQELEEEFMKYFTAIVEGDTFEEIYNQVKSIIEEESG
## 恢复: 0.7595628415300546
** 示例3: 补全 **
对于某些用例,您可能只想对感兴趣的某些片段进行补全,而蛋白质的其余部分保持不变(例如, 设计抗体 CDRs)。 以下是使用 `inpaint` 接口的一个简单示例:
```python
pdb_path = "/root/research/projects/ByProt/data/pdb_samples/5izu_proc.pdb"
designer.set_structure(pdb_path)
start_ids = [1, 50]
end_ids = [10, 100]
for i in range(5):
out, ori_seg, designed_seg = designer.inpaint(
start_ids=start_ids, end_ids=end_ids,
generator_args={'temperature': 1.0}
)
print(designed_seg)
print('Original Segments:')
print(ori_seg)
输出如下:
loading backbone structure from /root/research/projects/ByProt/data/pdb_samples/5izu_proc.pdb.
[['MVKSLFRHRT'], ['DEPIEEFTPTPAFPALQRLSSVDVEGVAWRAGLRTGDFLLEVNGVNVVKVG']]
[['MTKALFRHQT'], ['ETPIEEFTPTPAFPALQHLSSVDVEGAAYRAGLRTGDFLIEVNGVNVVKVG']]
[['STESLFRHAT'], ['ETPIEEFTPTPAFPALQHLSSVDVEGVAWRAGLRTGDFLIEVNGINVVKVG']]
[['ATARMFRHLT'], ['ETPIEEFTPTPAFPALQYLSSVDVEGVAWRAGLKTGDFLIEVNGVNVVKVG']]
[['ARKAKFRRYT'], ['ETPIEEFTPTPAFPALQVLSSVDVEGVAWRAGMRTGDFLLEVNGVNVVKVG']]
[['ADARLFREYT'], ['ETPIEEFTPTPAFPALQHLSAVDVEGVAWRAGLLTGDFLIEVNGVNVVKVG']]
[['ALRALFKHST'], ['DTPIEEFTPTPAFPALQYMSSVEVEGVAWRAGLRTGDFLIEVNGVNVVKVG']]
[['MLKMLFRHYT'], ['ETPIEEFTPTPAFPALQYLSSVDIDGMAWRAGLRTGDFLIEVNGDNVVKVG']]
[['ADKALFRHHT'], ['STPIEEFTPTPAFPALQYLESVDVDGVAYRAGLCTGDFLIEVNGVNVVKVG']]
[['AAAAAFRHST'], ['KTPIEEFTPTPAFPALQYLSRVEVDGMAWRAGLRTGDFLLEVNGVNVVRVG']]
Original Segments:
[['RTKRLFRHYT'], ['ETPIEEFTPTPAFPALQYLESVDVEGVAWRAGLRTGDFLIEVNGVNVVKVG']]
致谢
ByProt 对以下项目和个人表示感谢:
- PyTorch Lightning 和 lightning-hydra-template 为我们的开发过程提供了坚实的基础。
ByProt 从以下存储库获得灵感并使用/修改实现:
- jingraham/neurips19-graph-protein-design 用于预处理的 CATH 数据集和数据管道实现。
- facebook/esm 用于他们的 ESM 实现、预训练模型权重和数据管道组件如
Alphabet
。 - dauparas/ProteinMPNN 用于 ProteinMPNN 实现和多链数据集。
- A4Bio/PiFold 用于他们的 PiFold 实现。
- jasonkyuyim/se3_diffusion 用于他们的自我一致性结构评估实现。
我们衷心感谢这些存储库的作者为 ByProt 的开发做出的宝贵贡献。
引用
@inproceedings{zheng2023lm_design,
title={Structure-informed Language Models Are Protein Designers},
author={Zheng, Zaixiang and Deng, Yifan and Xue, Dongyu and Zhou, Yi and YE, Fei and Gu, Quanquan},
booktitle={International Conference on Machine Learning},
year={2023}
}