我们构建了一组称为通用自学模型的预训练模型,昵称为Models Genesis,因为它们是ex nihilo(没有人工标注)创建的,自学(通过自监督学习)并且通用(作为生成应用程序特定目标模型的源模型)。我们设想,Models Genesis可以为3D医学成像应用提供主要的迁移学习来源,特别是在标注数据有限的情况下。
论文
此存储库提供了以下论文中训练Models Genesis以及使用预训练Models Genesis的官方实现:
Models Genesis: 3D医学图像分析的通用自学模型
周宗伟1,Vatsal Sodha1,Md Mahfuzur Rahman Siddiquee1,
冯瑞斌1,Nima Tajbakhsh1,Michael B. Gotway2,梁建明1
1 亚利桑那州立大学, 2 梅奥诊所
国际医学图像计算与计算机辅助介入会议 (MICCAI),2019
青年科学家奖
论文 | 代码 | 幻灯片 | 海报 | 演讲 (YouTube, 优酷) | 博客
Models Genesis
周宗伟1,Vatsal Sodha1,庞佳轩1,Michael B. Gotway2,梁建明1
1 亚利桑那州立大学, 2 梅奥诊所
医学图像分析 (MedIA)
MedIA最佳论文奖
论文 | 代码 | 幻灯片 | 图示摘要
可用实施方案
- keras/
- pytorch/
★ 新闻:Models Genesis结合了nnU-Net,在肝脏/肿瘤和海马体分割中排名 #1。
- 竞赛/
我们工作的主要结果
- Models Genesis比从头训练的3D模型表现更好
- Models Genesis超越了任何2D方法,包括ImageNet模型和降级的2D Models Genesis
- Models Genesis(2D)提供了与监督预训练模型相当的性能
下面的图表由figures/plotsuperbar.m
中的Matlab代码和figures/superbar
中的辅助函数生成。感谢Scott Lowe的superbar。
注意,简单地从头学习仅在3D中可能并不一定会产生比在2D中基于ImageNet的迁移学习更好的性能
引用
如果您在研究中使用了此代码或我们的预训练权重,请引用我们的论文:
@InProceedings{zhou2019models,
author="Zhou, Zongwei and Sodha, Vatsal and Rahman Siddiquee, Md Mahfuzur and Feng, Ruibin and Tajbakhsh, Nima and Gotway, Michael B. and Liang, Jianming",
title="Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis",
booktitle="Medical Image Computing and Computer Assisted Intervention -- MICCAI 2019",
year="2019",
publisher="Springer International Publishing",
address="Cham",
pages="384--393",
isbn="978-3-030-32251-9",
url="https://link.springer.com/chapter/10.1007/978-3-030-32251-9_42"
}
@article{zhou2021models,
title="Models Genesis",
author="Zhou, Zongwei and Sodha, Vatsal and Pang, Jiaxuan and Gotway, Michael B and Liang, Jianming",
journal="Medical Image Analysis",
volume = "67",
pages = "101840",
year = "2021",
issn = "1361-8415",
doi = "https://doi.org/10.1016/j.media.2020.101840",
url = "http://www.sciencedirect.com/science/article/pii/S1361841520302048",
}
@phdthesis{zhou2021towards,
title={Towards Annotation-Efficient Deep Learning for Computer-Aided Diagnosis},
author={Zhou, Zongwei},
year={2021},
school={Arizona State University}
}
致谢
这项研究部分得到了亚利桑那州立大学和梅奥诊所的种子基金和创新基金的支持,部分得到了国家卫生研究院(NIH)在奖项编号R01HL128785下的支持。内容仅代表作者的观点,而不一定代表NIH的官方观点。这项工作部分使用了ASU Research Computing提供的GPU,部分使用了由国家科学基金会(NSF)在授予编号ACI-1548562下资助的极端科学与工程发现环境(XSEDE)提供的GPU。这是一项待申请的专利技术。