SegVol: 通用和交互式体积医学图像分割

| 🌟快速入门(ModelScope / 🤗HF) | 📃 论文 | 网页工具 | 📂 数据集(ModelScope/🤗HF) |

SegVol是一个通用和交互式的体积医学图像分割模型。SegVol接受点、框和文本提示，输出体积分割结果。通过在90,000个未标记的计算机断层扫描(CT)体积和6,000个已标记的CT上进行训练，这个基础模型支持200多个解剖类别的分割。

我们已经发布了SegVol的推理代码、训练代码、模型参数和ViT预训练参数（预训练在96,000个CT上进行了2,000轮）。

关键词: 3D医学SAM，体积图像分割

快速入门：实现简易训练和测试

🌟快速入门使用ModelScope（无需代理）

🌟快速入门使用HuggingFace

从源代码开始

要求

首先需要pytorch v1.11.0（或更高版本）。使用以下命令安装关键依赖：

pip install 'monai[all]==0.9.0'
pip install einops==0.6.1
pip install transformers==4.18.0
pip install matplotlib

训练和推理指南

如何推理一个演示案例。

如何训练SegVol。

如何使用我们的预训练ViT作为您的模型编码器。

涉及的数据集

🌟25个处理过的数据集正在上传到ModelScope/魔搭社区和HuggingFace。

原始数据集链接：

SegVol的网页工具 📽

https://github.com/BAAI-DCAI/SegVol/assets/60123629/242a1578-e418-463c-9d53-a62eeb154c7d

🏆内部验证性能（Dice分数）

🏆外部验证性能（Dice分数）

我们使用ULS23挑战赛的新标注数据集（750 + 744 + 124例病变案例）和Amos22的验证数据集（120例器官案例）进行了外部验证实验。与其他医学SAM方法相比，SegVol在准确分割病变和15个重要器官方面表现出强大的分割能力。

可视化🔍

数据集（已发布）

内部验证

外部验证

新闻🚀

(2024.01.03) 已报告零样本实验的雷达图。 🏆

(2023.12.25) 我们的网页工具现在支持下载结果！您可以将其作为在线工具使用。 🔥🔥🔥

(2023.12.15) 训练代码已上传！

(2023.12.04) SegVol的网页工具在这里！尽情享用吧！ 🔥🔥🔥

(2023.11.28) 我们的模型和演示案例已在huggingface/BAAI/SegVol开源。 🤗🤗

(2023.11.28) 预训练ViT的使用方法已上传。

(2023.11.24) 您可以从huggingface/BAAI/SegVol或Google Drive下载SegVol和ViT（CT预训练）的权重文件。 🔥🔥🔥

(2023.11.23) 简介和说明已上传。

(2023.11.23) 推理演示代码已上传。

(2023.11.22) 我们论文的第一版已上传至arXiv。 📃

引用

如果您觉得这个仓库有帮助，请考虑引用：

@article{du2023segvol,
  title={SegVol: Universal and Interactive Volumetric Medical Image Segmentation},
  author={Du, Yuxin and Bai, Fan and Huang, Tiejun and Zhao, Bo},
  journal={arXiv preprint arXiv:2311.13385},
  year={2023}
}

致谢

感谢以下优秀工作：

HuggingFace。

CLIP。

MONAI。

3D Slicer。

Image by brgfx on Freepik。

Image by muammark on Freepik。