SpA-Former:一种有效轻量级的图像阴影去除Transformer模型(IJCNN2023 口头报告)

SpA-Former在ISTD数据集上的注意力图

快速运行

1. 训练

修改config.yml设置您的参数，然后运行：

python train.py

2. 测试

首先，数据集是在640x480上训练的，所以您应该将测试数据集调整为640X480，您可以使用以下代码调整图像大小 bash python bigresize.py 然后按照以下代码测试结果：

python predict.py --config <path_to_config.yml_in_the_out_dir> --test_dir <path_to_a_directory_stored_test_data> --out_dir <path_to_an_output_directory> --pretrained <path_to_a_pretrained_model> --cuda

注意力可视化结果如下：注意力可视化结果。

这里是我在[ISTD](https://github.com/zhangbaijin/SpA-Former-shadow-removal/blob/main/./pretrained_models/RICE1/(`./pretrained_models/ISTD/gen_model_epoch_200.pth`)上预训练的模型

3. 预训练模型

下载预训练的阴影去除模型 Google Drive 和百度网盘提取码：rpis

4.测试结果

我们的测试结果： Google Drive 和百度网盘提取码：18ut

5.评估

要重现论文中的PSNR/SSIM/RMSE分数，运行MATLAB脚本

evaluate.m

在本节中，我使用峰值信噪比（PSNR）、结构相似性指数（SSIM）和（RMSE）作为指标，在ISTD数据集上比较了SpA-Former与其他几种方法。

致谢

本代码基于 [https://github.com/Penn000/SpA-GAN_for_cloud_removal] 更新

2. 数据集

2.1. ISTD_DATASET

点击[官方地址](https://github.com/zhangbaijin/SpA-Former-shadow-removal/blob/main/[here](https://github.com/nhchiu/Shadow-Removal-ISTD)构建如文件夹`data`所示的文件结构。这里`input`是存储阴影图像的文件夹，文件夹`target`存储相应的无阴影图像。

./
+-- data
    +--	ISTD_DATASET
        +-- train
        |   +-- input
        |   |   +-- 0.png
        |   |   +-- ...
        |   +-- target
        |       +-- 0.png
        |       +-- ...
        +-- test
            +-- input
            |   +-- 0.png
            |   +-- ...
            +-- target
                +-- 0.png
                +-- ...

联系方式

如果您对代码及其执行有任何问题，请联系我。

电子邮件：framebreak@sjtu.edu.cn

如果您认为这项工作对您的研究有帮助，请给我一个星标 :-D

引用

@INPROCEEDINGS{10191081,
  author={Zhang, Xiaofeng and Zhao, Yudi and Gu, Chaochen and Lu, Changsheng and Zhu, Shanying},
  booktitle={2023 International Joint Conference on Neural Networks (IJCNN)}, 
  title={SpA-Former:An Effective and lightweight Transformer for image shadow removal}, 
  year={2023},
  volume={},
  number={},
  pages={1-8},
  doi={10.1109/IJCNN54540.2023.10191081}}