● Medical SAM 2: 通过Segment Anything Model 2将医学图像作为视频进行分割

License

Medical SAM 2，也称为MedSAM-2，是一种先进的分割模型，它利用SAM 2框架来解决2D和3D医学图像分割任务。这种方法在论文Medical SAM 2: 通过Segment Anything Model 2将医学图像作为视频进行分割中进行了详细阐述。

🔥 快速概览

🩻 3D腹部分割可视化

🧐 要求

安装环境：

conda env create -f environment.yml

conda activate medsam2

您可以从checkpoints文件夹下载SAM2检查点：

bash download_ckpts.sh

进一步说明：我们在以下系统环境中进行了测试，由于系统差异，您可能需要处理一些问题。

操作系统：Ubuntu 22.04
Conda版本：23.7.4
Python版本：3.12.4

我们在这里发布了我们的预训练权重

🎯 示例案例

下载REFUGE或BCTV或您自己的数据集并放在`data`文件夹中，如果该文件夹不存在则创建它 ⚒️

2D案例 - 从眼底图像中分割REFUGE视杯

步骤1: 从这里手动下载预处理的REFUGE数据集，或使用命令行：

wget https://huggingface.co/datasets/jiayuanz3/REFUGE/resolve/main/REFUGE.zip

unzip REFUGE.zip

步骤2: 通过以下命令运行训练和验证：

python train_2d.py -net sam2 -exp_name REFUGE_MedSAM2 -vis 1 -sam_ckpt ./checkpoints/sam2_hiera_small.pt -sam_config sam2_hiera_s -image_size 1024 -out_size 1024 -b 4 -val_freq 1 -dataset REFUGE -data_path ./data/REFUGE

3D案例 - 腹部多器官分割

步骤1: 从这里手动下载预处理的BTCV数据集，或使用命令行：

wget https://huggingface.co/datasets/jiayuanz3/btcv/resolve/main/btcv.zip

unzip btcv.zip

步骤2: 通过以下命令运行训练和验证：

python train_3d.py -net sam2 -exp_name BTCV_MedSAM2 -sam_ckpt ./checkpoints/sam2_hiera_small.pt -sam_config sam2_hiera_s -image_size 1024 -val_freq 1 -prompt bbox -prompt_freq 2 -dataset btcv -data_path ./data/btcv

🚨 新闻

24-08-05. 我们的Medical SAM 2论文在Hugging Face上被AK收集的当日论文排名第一 🤗
24-08-05. 更新3D示例详情和预处理BTCV数据集下载链接 🔗
24-08-05. 更新2D示例详情和预处理REFUGE数据集下载链接 🔗
24-08-05. 我们的Medical SAM 2论文已在线发布 🥳
24-08-05. 我们的Medical SAM 2代码已在Github上发布 🥳
24-07-30. SAM 2模型已发布 🤩

📝 引用

@misc{zhu_medical_2024,
   title={Medical SAM 2: Segment medical images as video via Segment Anything Model 2},
   author={Jiayuan Zhu and Yunli Qi and Junde Wu},
   year = {2024},
   eprint={2408.00874},
   archivePrefix={arXiv},
   primaryClass={cs.CV}
}