TransMorph: 用于无监督医学图像配准的Transformer
关键词: Vision Transformer, Swin Transformer, 卷积神经网络, 图像配准
这是我论文的 PyTorch 实现:
Chen, Junyu, et al. "TransMorph: 用于无监督医学图像配准的Transformer", 医学图像分析, p. 102615, 2022.
这里是勘误表 (修正了论文中的几处错误)。
2022年9月3日 - TransMorph论文已被Medical Image Analysis接受发表!根据审稿人的意见将进行一些修改。
2022年3月24日 - TransMorph目前在MICCAI 2021 L2R挑战赛任务03(脑部MR)的测试集上排名第一(结果由Learn2Reg挑战赛组织者提供)。训练脚本、数据集和预训练模型可在此处获取: TransMorph on OASIS
2022年2月3日 - TransMorph目前在MICCAI 2021 L2R挑战赛任务03(脑部MR)的验证集上排名第一。
2021年12月29日 - 我们预处理过的IXI数据集和预训练模型现已公开可用!查看此页面获取更多信息: TransMorph on IXI
TransMorph DIR变体:
有四种 TransMorph变体: TransMorph, TransMorph-diff, TransMorph-bspl和TransMorph-Bayes。
训练和推理脚本在TransMorph/
中,模型包含在TransMorph/model/
中。
- TransMorph: 用于图像配准的混合Transformer-ConvNet网络。
- TransMorph-diff: 确保微分同胚的概率性TransMorph。
- TransMorph-bspl: 确保微分同胚的B样条TransMorph。
- TransMorph-Bayes: 产生配准不确定性估计的贝叶斯不确定性TransMorph。
TransMorph仿射模型:
TransMorph仿射模型的脚本在TransMorph_affine/
文件夹中。
2023年11月17日 - 我们在此处提供了一个使用IXI数据集子集训练TransMorph-affine的示例。
train_xxx.py
和infer_xxx.py
是TransMorph模型的训练和推理脚本。
损失函数:
TransMorph支持单模态和多模态配准。我们提供了以下图像相似性度量的损失函数(链接将直接跳转到代码):
以及以下变形正则化器:
基准模型:
我们将TransMorph与八种基准配准方法和四种Transformer架构进行了比较。
链接将带您到它们的官方仓库。
基准配准方法:
训练和推理脚本在 Baseline_registration_models/
中
- SyN/ANTsPy (官方网站)
- NiftyReg (官方网站)
- LDDMM (官方网站)
- deedsBCV (官方网站)
- VoxelMorph-1 & -2 (官方网站)
- CycleMorph (官方网站)
- MIDIR (官方网站)
基准Transformer架构:
训练和推理脚本在 Baseline_Transformers/
中
JHU脑部MRI和Duke CT数据集:
由于限制,我们无法分发我们的脑部MRI和CT数据。然而,几个脑部MRI数据集可在网上公开获取:ADNI, OASIS, ABIDE等。请注意,这些数据集可能不包含标签(分割)。要生成标签,您可以使用FreeSurfer,这是一个用于标准化脑MRI图像的开源软件。以下是FreeSurfer中一些有用的命令: 使用FreeSurfer进行脑MRI预处理和皮层下分割。
您可以在下一节中找到我们预处理过的IXI数据集。
IXI数据集上的可复现结果:
您可以在这里找到预处理过的IXI数据集、预训练的基准和TransMorph模型,以及IXI数据集的训练和推理脚本 :point_right: TransMorph on IXI
OASIS数据集上的可复现结果:
您可以在这里找到预处理过的OASIS数据集、预训练的基准和TransMorph模型,以及OASIS数据集的训练和推理脚本 :point_right: TransMorph on OASIS
引用:
如果您在研究中发现此代码有用,请考虑引用:
@article{chen2022transmorph,
title = {TransMorph: 用于无监督医学图像配准的Transformer},
journal = {Medical Image Analysis},
pages = {102615},
year = {2022},
issn = {1361-8415},
doi = {https://doi.org/10.1016/j.media.2022.102615},
url = {https://www.sciencedirect.com/science/article/pii/S1361841522002432},
author = {Junyu Chen and Eric C. Frey and Yufan He and William P. Segars and Ye Li and Yong Du}
}
TransMorph架构:
示例结果:
定性比较:
TransMorph-Bayes的不确定性估计:
定量结果:
病人间脑部MRI:
XCAT到CT:
参考:
Swin Transformer
easyreg
MIDIR
VoxelMorph