MONAI生成模型
这是一个用于将生成模型整合到MONAI核心、MONAI教程和MONAI模型库的原型开发仓库。
特性
- 网络架构:扩散模型、自编码器-KL、VQ-VAE、自回归变换器、(多尺度)Patch-GAN判别器。
- 扩散模型噪声调度器:DDPM、DDIM和PNDM。
- 损失函数:对抗损失、谱损失和感知损失(适用于2D和3D数据,使用LPIPS、RadImageNet和3DMedicalNet预训练模型)。
- 评估指标:多尺度结构相似性指数(MS-SSIM)和Fréchet始创距离(FID)。
- 扩散模型、潜在扩散模型和VQ-VAE + 变换器推理类(兼容MONAI风格),包含训练、生成合成图像和获取输入数据似然的方法。
- 兼容MONAI的训练器引擎(基于Ignite),用于训练具有重建和对抗组件的模型。
- 教程包括:
- 如何在2D和3D数据上训练VQ-VAE、VQ-GAN、VQ-VAE + 变换器、AutoencoderKL、扩散模型和潜在扩散模型。
- 训练扩散模型以使用无分类器引导进行条件图像生成。
- 不同扩散模型调度器的比较。
- 具有不同参数化的扩散模型(如v预测和epsilon参数化)。
- 使用VQ-VAE + 变换器和扩散模型进行异常检测。
- 使用扩散模型进行图像修复(使用Repaint方法)
- 使用潜在扩散模型进行超分辨率(使用噪声条件增强)
路线图
我们的短期目标可在仓库的里程碑部分查看。
长期来看,我们的目标是将生成模型整合到MONAI核心仓库中(支持图像合成、异常检测、MRI重建、领域迁移等任务)。
安装
要安装MONAI生成模型的当前版本,你可以运行:
pip install monai-generative
要安装仓库的当前主分支,请运行:
pip install git+https://github.com/Project-MONAI/GenerativeModels.git
需要Python >= 3.8。
贡献
有关为MONAI做出贡献的指导,请参阅贡献指南。
社区
在Twitter上关注@ProjectMONAI加入对话,或加入我们的Slack频道。
引用
如果你在研究中使用了MONAI生成模型,请引用我们!引用可以从这篇论文导出。