Logo
Project Icon

ddpm-cd

基于扩散模型的遥感变化检测方法

DDPM-CD遥感变化检测扩散模型特征提取语义理解Github开源项目

DDPM-CD项目提出了一种新的遥感变化检测方法,利用预训练的去噪扩散概率模型(DDPM)作为特征提取器。该方法首先在大量遥感图像上预训练DDPM模型,然后微调轻量级变化分类器,利用DDPM提取的特征和变化标签进行训练。实验表明,DDPM-CD在多个变化检测数据集上性能优异,展示了DDPM在变化检测中的有效性。

访问官网访问官网GithubGithub论文论文
介绍相关项目

DDPM-CD: 去噪扩散概率模型作为变化检测的特征提取器

(原标题: DDPM-CD: 利用去噪扩散概率模型进行遥感变化检测)

Wele Gedara Chaminda Bandara, Nithin Gopalakrishnan Nair, Vishal M. Patel

DDPM-CD: 去噪扩散概率模型作为变化检测的特征提取器 / 利用去噪扩散概率模型进行遥感变化检测的官方 Pytorch 实现

论文最新版本

更新:

  • :exclamation: 论文第三版: 我们已经(全面)修订了论文的写作。请参阅 arxiv 上的 v3。

1. 动机和贡献

图片-20210228153142126

从预先在现成遥感图像上训练的 DDPM 模型中采样的图像。

  • 从预先在现成遥感图像上训练的扩散模型生成的图像。
  • 生成的图像展示了在真实遥感图像中通常观察到的常见对象，包括建筑物、树木、道路、植被、水面等。
  • 这展示了扩散模型从训练数据集中掌握基本语义的卓越能力。
  • 尽管我们的主要关注点不是图像合成，我们探索了 DDPM 作为变化检测特征提取器的有效性。

2. 方法

图片-20210228153142126

我们利用预训练 DDPM 产生的特征表示以及变化标签来微调轻量级变化分类器

3. 使用方法

3.1 要求

在使用此存储库之前，请确保已安装以下先决条件：

您可以使用以下命令安装 PyTorch（在 Linux 操作系统中）:

conda install pytorch torchvision pytorch-cuda=11.8 -c pytorch -c nvidia

3.2 安装

首先，克隆此存储库：

git clone https://github.com/wgcban/ddpm-cd.git

接下来，通过执行以下命令创建名为 ddpm-cd 的 conda 环境：

conda env create -f environment.yml

然后激活环境：

conda activate ddpm-cd

下载数据集并将它们放在 dataset 文件夹中。->查看第 5.1 节获取下载链接。

如果您只想进行测试，下载预训练的 DDPM 和微调的 DDPM-CD 模型，并将它们放在 experiments 文件夹中。->查看第 7 节获取链接。

所有训练-验证-测试统计数据将自动上传到 wandb，如果您不熟悉使用 wandb，请参阅 wandb-quick-start 文档。

4. 预训练 DDPM

4.1 收集现成遥感数据以训练扩散模型

将从 Google Earth Engine 采样的所有遥感数据和任何其他公开可用的遥感图像转储到数据集文件夹或创建一个 符号链接。

4.2 预训练/恢复（无条件）DDPM

我们使用 ddpm_train.json 来设置配置。在 json 文件中更新数据集 name 和 dataroot。然后运行以下命令开始训练扩散模型。结果和日志文件将保存到 experiments 文件夹。此外，我们将所有指标上传到 wandb。

python ddpm_train.py --config config/ddpm_train.json -enable_wandb -log_eval

如果您想从之前保存的点恢复训练，请在 path/resume_state 中提供保存模型的路径，否则将其保持为 null。

4.3 从预训练的DDPM采样

如果您想从预训练的DDPM生成样本，首先在[path][resume_state]中更新训练好的扩散模型的路径。然后运行以下命令。

python ddpm_train.py --config config/ddpm_sampling.json --phase val

生成的图像将保存在experiments中。

5. 变化检测的微调

5.1 下载变化检测数据集

从以下链接下载变化检测数据集。将它们放在您的datasets文件夹中。

然后，在levir.json、whu.json、dsifn.json和cdd.json中更新这些文件夹的路径：[datasets][train][dataroot]、[datasets][val][dataroot]、[datasets][test][dataroot]。

5.2 提供预训练扩散模型的路径

在levir.json、whu.json、dsifn.json和cdd.json中的[path][resume_state]更新预训练扩散模型权重（*_gen.pth和*_opt.pth）的路径。

5.3 指定用于特征提取的时间步

在[model_cd][t]中指定用于提取特征表示的时间步。如论文的消融研究部分所示，我们的最佳模型是使用时间步{50,100,400}获得的。然而，时间步{50,100}也效果很好。

5.4 开始变化检测的微调

运行以下代码开始训练。

  • 在LEVIR-CD上训练： 
    python ddpm_cd.py --config config/levir.json -enable_wandb -log_eval
  • 在WHU-CD上训练： 
    python ddpm_cd.py --config config/whu.json -enable_wandb -log_eval
  • 在DSIFN-CD上训练： 
    python ddpm_cd.py --config config/dsifn.json -enable_wandb -log_eval
  • 在CDD上训练： 
    python ddpm_cd.py --config config/cdd.json -enable_wandb -log_eval

结果将保存在experiments中，并上传到wandb。

6. 测试

要获得预测结果和性能指标（IoU、F1和OA），首先在levir_test.json、whu_test.json、dsifn_test.json和cdd_test.json中提供预训练扩散模型的路径[path][resume_state]和训练好的变化检测模型（最佳模型）的路径[path_cd][resume_state]。同时确保在[model_cd][t]中指定了微调时使用的时间步。

运行以下代码开始测试。

  • 在LEVIR-CD上测试： 
    python ddpm_cd.py --config config/levir_test.json --phase test -enable_wandb -log_eval
  • 在WHU-CD上测试： 
    python ddpm_cd.py --config config/whu_test.json --phase test -enable_wandb -log_eval
  • 在DSIFN-CD上测试： 
    python ddpm_cd.py --config config/dsifn_test.json --phase test -enable_wandb -log_eval
  • 在CDD上测试： 
    python ddpm_cd.py --config config/cdd_test.json --phase test -enable_wandb -log_eval

预测结果将保存在experiments中，性能指标将上传到wandb。

7. 预训练模型下载链接

7.1 预训练DDPM

预训练扩散模型可以从以下链接下载：Dropbox

7.2 微调的DDPM-CD模型

可以从以下链接下载微调的变化检测网络：

7.2 从GoogleDrive/GitHub下载

如果从DropBox下载时遇到问题，请尝试以下选项之一：

7.3 在wandb上的训练/验证报告

7.4 在wandb上的测试结果

8. 结果

8.1 定量结果

图片-20210228153142126

LEVIR-CD、WHU-CD、DSIFN-CD和CDD测试集上的平均定量变化检测结果。"-"表示未报告或我们无法获得。(IN1k)表示预训练过程使用ImageNet预训练权重初始化。IN1k、IBSD和GE分别指ImageNet1k、Inria建筑分割数据集和谷歌地球。

8.2 定性结果

  • LEVIR-CD

    图片-20210228153142126

    (a) 变化前图像，(b) 变化后图像，(c) FC-EF，(d) FC-Siam-diff，(e) FC-Siam-conc，(f) DT-SCN，(g) BIT，(h) ChangeFormer，(i) DDPM-CD（我们的方法），以及(j) 真实标签。注：真阳性（变化类）用白色表示，真阴性（无变化类）用黑色表示，假阳性和假阴性用红色表示。

  • WHU-CD

    图片-20210228153142126

    (a) 变化前图像，(b) 变化后图像，(c) FC-EF，(d) FC-Siam-diff，(e) FC-Siam-conc，(f) DT-SCN，(g) BIT，(h) ChangeFormer，(i) DDPM-CD（我们的方法），以及(j) 真实标签。注：真阳性（变化类）用白色表示，真阴性（无变化类）用黑色表示，假阳性和假阴性用红色表示。

  • DSIFN-CD

    图片-20210228153142126 (a) 变化前图像，(b) 变化后图像，(c) FC-EF，(d) FC-Siam-diff，(e) FC-Siam-conc，(f) DT-SCN，(g) BIT，(h) ChangeFormer，(i) DDPM-CD（我们的方法），以及(j) 真实标签。注：真阳性（变化类）用白色表示，真阴性（无变化类）用黑色表示，假阳性和假阴性用红色表示

  • CDD

    image-20210228153142126

    (a) 变化前图像，(b) 变化后图像，(c) FC-EF，(d) FC-Siam-diff，(e) FC-Siam-conc，(f) DT-SCN，(g) BIT，(h) ChangeFormer，(i) DDPM-CD（我们的方法），以及(j) 真实标签。注：真阳性（变化类）用白色表示，真阴性（无变化类）用黑色表示，假阳性和假阴性用红色表示

9. 引用

@misc{bandara2024ddpmcdv2,
    title = {使用去噪扩散概率模型进行遥感变化检测（分割）},
    author = {Bandara, Wele Gedara Chaminda and Nair, Nithin Gopalakrishnan and Patel, Vishal M.},
    year = {2022},
    eprint={2206.11892},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    doi = {10.48550/ARXIV.2206.11892},
}

@misc{bandara2024ddpmcdv3,
    title={DDPM-CD：作为变化检测特征提取器的去噪扩散概率模型}, 
    author={Wele Gedara Chaminda Bandara and Nithin Gopalakrishnan Nair and Vishal M. Patel},
    year={2024},
    eprint={2206.11892},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    doi = {10.48550/ARXIV.2206.11892},
}

10. 参考文献

  • 扩散模型的代码来自此处。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号