项目介绍:Models Genesis
概述
Models Genesis 是由一组预训练模型构成,命名为“通用自学模型”,亦称“Models Genesis”。这些模型的开发无须手动标注,通过自监督学习自行获取知识,并且具备通用性,能够作为生成应用特定目标模型的源模型。研究团队希望 Models Genesis 在 3D 医学影像应用中,特别是有限标注数据的情况下,成为迁移学习的主要工具。
背景与目标
在医学影像分析中,数据标注是一项耗时且昂贵的工作。Models Genesis 的目标是在无需大量标注数据的条件下,提供高效的模型训练方法。通过自监督学习,这些模型能够自动从未标注的数据中学习特征,并应用于不同的医学影像任务上。
核心技术
Models Genesis 的核心在于自学模型的生成,这些模型使用自监督的方式进行训练。其过程类似于给模型提出问题并让模型自己寻找答案,而无需人为提供的标签。这样的训练方法不仅节约了大量人力资源,还提高了模型的泛化能力。
主要成果
- 优于3D从头训练的模型:Models Genesis 能够在众多任务中超越从头开始训练的 3D 模型。
- 超越 2D 方法:与基于 ImageNet 的模型以及降维至 2D 的 Models Genesis 相比,Models Genesis 展现出更好的性能。
- 2D 模型匹敌监督模型:作为 2D 预训练模型,Models Genesis 的表现可媲美传统的监督学习预训练模型。
项目荣誉
Models Genesis 项目在医学图像计算与计算机辅助干预国际会议(MICCAI)2019 中获得了“青年科学家奖”,并在 Medical Image Analysis (MedIA) 学术期刊中获得了“最佳论文奖”。
实现与应用
此项目提供了在 keras 和 pytorch 等多种框架下的实现版本,并且与 nnU-Net 结合,在肝脏/肿瘤及海马体分割比赛中取得了第一名的成绩。
未来展望
由于 Models Genesis 在利用少量或无标注数据进行自监督学习方面的优势,研究团队对其在其他医学影像分析领域的应用持乐观态度,期待为医学研究和临床诊断提供更多支持和启发。
支持与贡献
该研究获得了亚利桑那州立大学和梅奥诊所的种子基金与创新基金,以及国家卫生研究院(NIH)的部分支持。项目使用的部分 GPU 资源由 ASU Research Computing 和 NSF 资助的 Extreme Science and Engineering Discovery Environment (XSEDE) 提供。
Models Genesis 是一项正在申请专利的技术,有望在未来为医学领域带来更多创新突破。