HRDA

HRDA：上下文感知的高分辨率域自适应语义分割

作者：Lukas Hoyer、Dengxin Dai和Luc Van Gool

[ECCV22 论文] [扩展论文]

:bell: 新闻：

• [2024-07-03] 我们很高兴地宣布，我们的工作SemiVL，关于视觉语言引导的半监督语义分割，已被ECCV24接受。
• [2024-07-03] 我们很高兴地宣布，我们的后续工作DGInStyle，关于用于域泛化语义分割的图像扩散，已被ECCV24接受。
• [2023-09-26] 我们很高兴地宣布，我们的扩展论文，关于域泛化和晴朗到恶劣天气的UDA，已被PAMI接受。
• [2023-08-25] 我们很高兴地宣布，我们的后续工作EDAPS，关于全景分割UDA，已被ICCV23接受。
• [2023-04-27] 我们在扩展论文中进一步将HRDA扩展到域泛化和晴朗到恶劣天气的UDA。
• [2023-02-28] 我们很高兴地宣布，我们的后续工作MIC，关于上下文增强的UDA，已被CVPR23接受。
• [2022-07-05] 我们很高兴地宣布HRDA已被ECCV22接受。

概述

**无监督域适应（UDA）**旨在将在合成数据上训练的模型适应到真实世界的数据，而无需对真实世界图像进行昂贵的标注。由于用于语义分割的UDA方法通常需要大量GPU内存，大多数先前的方法仅在缩小尺寸的图像上操作。我们质疑这种设计，因为低分辨率预测常常无法保留精细细节。使用高分辨率图像的随机裁剪进行训练可以缓解这个问题，但在捕捉长距离、域鲁棒的上下文信息方面仍有不足。

因此，我们提出了HRDA，一种用于UDA的多分辨率训练方法，它结合了小型高分辨率裁剪以保留精细分割细节和大型低分辨率裁剪以捕捉长距离上下文依赖的优势，并通过学习的尺度注意力机制来实现，同时保持可控的GPU内存占用。

HRDA能够适应小物体并保留精细的分割细节。它显著提高了最先进的性能，在GTA→Cityscapes上提高了5.5 mIoU，在Synthia→Cityscapes上提高了4.9 mIoU，分别达到了73.8和65.8 mIoU的前所未有的性能。

与之前最先进的UDA方法DAFormer相比，HRDA更详细的域自适应语义分割效果也可以在Cityscapes验证集的示例预测中观察到。

https://user-images.githubusercontent.com/1277888/181128057-27b8039f-a4c9-4f6d-9aa8-9b7f364d8921.mp4

HRDA可以进一步扩展到域泛化，消除了访问目标图像的需求。在域泛化中，HRDA也显著提高了最先进的性能，提高了4.2 mIoU。

有关HRDA的更多信息，请查看我们的[ECCV论文]和[扩展论文]。

如果您在研究中发现HRDA有用，请考虑引用：

@InProceedings{hoyer2022hrda,
  title={{HRDA}: Context-Aware High-Resolution Domain-Adaptive Semantic Segmentation},
  author={Hoyer, Lukas and Dai, Dengxin and Van Gool, Luc},
  booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
  pages={372--391},
  year={2022}
}

@Article{hoyer2024domain,
  title={Domain Adaptive and Generalizable Network Architectures and Training Strategies for Semantic Image Segmentation},
  author={Hoyer, Lukas and Dai, Dengxin and Van Gool, Luc},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI)}, 
  year={2024},
  volume={46},
  number={1},
  pages={220-235},
  doi={10.1109/TPAMI.2023.3320613}
}

与最先进UDA的比较

HRDA在多个UDA基准测试上显著优于之前的工作。这包括GTA→Cityscapes和Synthia→Cityscapes的合成到真实适应，以及Cityscapes→ACDC和Cityscapes→DarkZurich的晴朗到恶劣天气适应。

* 我们扩展论文的新结果

参考文献：

1. Vu等人，"Advent: 语义分割中域适应的对抗熵最小化"，CVPR 2019。
2. Li等人，"语义分割域适应的双向学习"，CVPR 2019。
3. Yang等人，"FDA: 语义分割的傅里叶域适应"，CVPR 2020。
4. Tranheden等人，"DACS: 通过跨域混合采样进行域适应"，WACV 2021。
5. Zhang等人，"用于域自适应语义分割的原型伪标签去噪和目标结构学习"，CVPR 2021。
6. Sakaridis等人，"基于地图引导的课程域适应和不确定性感知评估，用于夜间图像语义分割"，TPAMI，2020。
7. Wu等人，"DANNet: 用于无监督夜间语义分割的一阶段域适应网络"，CVPR，2021。
8. Hoyer等人，"DAFormer: 改进域自适应语义分割的网络架构和训练策略"，CVPR，2022。

与最先进域泛化（DG）的比较

HRDA和DAFormer在从GTA到真实街景的域泛化方面显著优于之前的工作。

* 我们扩展论文的新结果

参考文献：

1. Pan等人，"Two at once: Enhancing learning and generalization capacities via IBN-Net"，ECCV，2018。
2. Yue等人，"Domain randomization and pyramid consistency: Simulation-to-real generalization without accessing target domain data"，ICCV，2019。
3. Choi等人，"RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening"，CVPR，2021。
4. Peng等人，"Semantic-aware domain generalized segmentation"，CVPR，2022。
5. Zhao等人，"Style-Hallucinated Dual Consistency Learning for Domain Generalized Semantic Segmentation"，ECCV，2022。
6. Hoyer等人，"DAFormer: Improving Network Architectures and Training Strategies for Domain-Adaptive Semantic Segmentation"，CVPR，2022。

环境设置

本项目使用Python 3.8.5。我们建议设置一个新的虚拟环境：

python -m venv ~/venv/hrda
source ~/venv/hrda/bin/activate

在该环境中，可以通过以下命令安装所需依赖：

pip install -r requirements.txt -f https://download.pytorch.org/whl/torch_stable.html
pip install mmcv-full==1.3.7  # 需要先安装其他包

请从SegFormer提供的OneDrive下载MiT-B5 ImageNet权重，并将其放入pretrained/文件夹。 此外，下载HRDA on GTA→Cityscapes的检查点并解压到work_dirs/文件夹。

数据集设置

Cityscapes: 请从这里下载leftImg8bit_trainvaltest.zip和gt_trainvaltest.zip，并解压到data/cityscapes。

GTA: 请从这里下载所有图像和标签包，并解压到data/gta。

Synthia (可选): 请从这里下载SYNTHIA-RAND-CITYSCAPES，并解压到data/synthia。

ACDC (可选): 请从这里下载rgb_anon_trainvaltest.zip和gt_trainval.zip，并解压到data/acdc。然后，请使用以下命令将文件夹从condition/split/sequence/重组为split/：

rsync -a data/acdc/rgb_anon/*/train/*/* data/acdc/rgb_anon/train/
rsync -a data/acdc/rgb_anon/*/val/*/* data/acdc/rgb_anon/val/
rsync -a data/acdc/gt/*/train/*/*_labelTrainIds.png data/acdc/gt/train/
rsync -a data/acdc/gt/*/val/*/*_labelTrainIds.png data/acdc/gt/val/

Dark Zurich (可选): 请从这里下载Dark_Zurich_train_anon.zip和Dark_Zurich_val_anon.zip，并解压到data/dark_zurich。

BDD100K (可选): 请从这里下载10K Images和Segmentation，并解压到data/bdd100k。

Mapillary (可选): 请从这里下载mapillary-vistas-dataset_public_v1.2.zip，并解压到data/mapillary。

最终的文件夹结构应如下所示：

HRDA
├── ...
├── data
│   ├── acdc (可选)
│   │   ├── gt
│   │   │   ├── train
│   │   │   ├── val
│   │   ├── rgb_anon
│   │   │   ├── train
│   │   │   ├── val
│   ├── bdd100k (可选)
│   │   ├── images/10k/val
│   │   ├── labels/sem_seg/masks/val
│   ├── cityscapes
│   │   ├── leftImg8bit
│   │   │   ├── train
│   │   │   ├── val
│   │   ├── gtFine
│   │   │   ├── train
│   │   │   ├── val
│   ├── dark_zurich (可选)
│   │   ├── gt
│   │   │   ├── val
│   │   ├── rgb_anon
│   │   │   ├── train
│   │   │   ├── val
│   ├── gta
│   │   ├── images
│   │   ├── labels
│   ├── mapillary (可选)
│   │   ├── validation/images
│   │   ├── validation/labels
│   ├── synthia (可选)
│   │   ├── RGB
│   │   ├── GT
│   │   │   ├── LABELS
├── ...

数据预处理: 最后，请运行以下脚本以将标签ID转换为训练ID，并为RCS生成类别索引：

python tools/convert_datasets/gta.py data/gta --nproc 8
python tools/convert_datasets/cityscapes.py data/cityscapes --nproc 8
python tools/convert_datasets/synthia.py data/synthia/ --nproc 8
python tools/convert_datasets/mapillary.py data/mapillary/ --nproc 8

测试与预测

可以使用以下命令在Cityscapes验证集上测试提供的GTA→Cityscapes训练的HRDA检查点：

sh test.sh work_dirs/gtaHR2csHR_hrda_246ef

预测结果保存在work_dirs/gtaHR2csHR_hrda_246ef/preds以供检查，模型的mIoU会打印到控制台。提供的检查点应达到73.79 mIoU。请参阅work_dirs/gtaHR2csHR_hrda_246ef/20220215_002056.log末尾以获取更多信息，如各类别的IoU。

如果您想在验证集上可视化HRDA的LR预测、HR预测或尺度注意力，请参阅test.sh以获取更多说明。

训练

为方便起见，我们提供了最终HRDA的带注释配置文件。可以使用以下命令启动训练任务：

python run_experiments.py --config configs/hrda/gtaHR2csHR_hrda.py

日志和检查点存储在work_dirs/中。

对于我们论文中的其他实验，我们使用脚本自动生成和训练配置：

python run_experiments.py --exp <ID>

有关可用实验及其分配的ID的更多信息，请参见experiments.py。生成的配置将存储在configs/generated/中。

评估在Synthia→Cityscapes上训练的模型时，请注意评估脚本计算的是所有19个Cityscapes类别的mIoU。然而，Synthia只包含其中16个类别的标签。因此，在UDA中通常的做法是仅报告这16个类别的Synthia→Cityscapes mIoU。由于缺失的3个类别的IoU为0，您可以使用mIoU16 = mIoU19 * 19 / 16进行转换。 Cityscapes→ACDC和Cityscapes→DarkZurich的结果在目标数据集的测试集上报告。要生成测试集的预测结果，请运行:

python -m tools.test path/to/config_file path/to/checkpoint_file --test-set --format-only --eval-option imgfile_prefix=labelTrainIds to_label_id=False

预测结果可以提交到相应数据集的公开评估服务器以获取测试分数。

域泛化

HRDA/DAFormer用于域泛化(DG)的版本位于DG分支,可以通过以下命令检出:

git checkout dg

可以使用以下命令进行DG训练:

python run_experiments.py --exp 50

更多详细信息,请参阅experiment.py。该模型在训练过程中仅使用GTA数据直接在Cityscapes上进行评估。还可以使用tools/test.py在BDD100K和Mapillary上进行额外评估:

python -m tools.test path/to/config_file path/to/checkpoint_file --eval mIoU --dataset BDD100K
python -m tools.test path/to/config_file path/to/checkpoint_file --eval mIoU --dataset Mapillary --eval-option efficient_test=True

检查点

以下我们提供了HRDA在不同基准测试上的检查点。 这些检查点附带了训练日志文件。 由于论文中的结果是三个随机种子的平均值,这里我们提供验证性能中位数的检查点。

• HRDA for GTA→Cityscapes
• HRDA for Synthia→Cityscapes
• HRDA for Cityscapes→ACDC
• HRDA for Cityscapes→DarkZurich
• HRDA for GTA Domain Generalization
• DAFormer for GTA Domain Generalization

检查点附带训练日志。请注意:

• 日志提供19个类别的mIoU。对于Synthia→Cityscapes,需要将mIoU转换为16个有效类别。请阅读上面关于转换mIoU的部分。
• 日志提供验证集上的mIoU。对于Cityscapes→ACDC和Cityscapes→DarkZurich,论文中报告的结果是在测试集上计算的。对于DarkZurich,验证集和测试集之间的性能差异显著。请阅读上面关于如何获得测试mIoU的部分。
• 域泛化(DG)的日志提供Cityscapes上的验证性能。请参考上面的部分在BDD100K和Mapillary上评估检查点。

框架结构

本项目基于mmsegmentation 0.16.0版本。 有关框架结构和配置系统的更多信息,请参阅mmsegmentation文档和mmcv文档。

HRDA最相关的文件有:

• configs/hrda/gtaHR2csHR_hrda.py: 最终HRDA的注释配置文件。
• mmseg/models/segmentors/hrda_encoder_decoder.py: HRDA多分辨率编码与上下文和细节裁剪的实现。
• mmseg/models/decode_heads/hrda_head.py: HRDA解码与多分辨率融合和尺度注意力的实现。
• mmseg/models/uda/dacs.py: DAFormer自训练的实现。

致谢

HRDA基于以下开源项目。我们感谢这些项目的作者公开源代码。

• DAFormer
• MMSegmentation
• SegFormer
• DACS
• SHADE

许可证

本项目基于Apache License 2.0发布,但本仓库中的一些特定功能使用其他许可证。如果您将我们的代码用于商业用途,请仔细查看LICENSES.md。