摘要

本工作提出了去噪视觉 Transformer (DVT)。它消除了 ViT 特征图中常见的视觉上令人不快的伪影，并显著提高了密集识别任务的下游性能。

引用

@article{yang2024denoising,
  author = {Yang, Jiawei and Luo, Katie Z and Li, Jiefeng and Deng, Congyue and Guibas, Leonidas J. and Krishnan, Dilip and Weinberger, Kilian Q and Tian, Yonglong and Wang, Yue},
  title = {DVT: Denoising Vision Transformers},
  journal = {arXiv preprint arXiv:2401.02957},
  year = {2024},
}

此 README 文件和代码库为旧版。我们将尽快更新。

安装

1. 创建一个 conda 环境。

conda create -n dvt python=3.10 -y

2. 激活环境。

conda activate dvt

3. 从 requirements.txt 安装依赖项。

pip install -r requirements.txt

4. 手动安装 tiny-cuda-nn：

pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

如果遇到错误 nvcc fatal : Unsupported gpu architecture compute_89，请尝试以下命令：

TCNN_CUDA_ARCHITECTURES=86 pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

如果遇到 error: parameter packs not expanded with '...' 错误，请参考 GitHub 上的这个解决方案。

数据准备

1. PASCAL-VOC 2007 和 2012： 请下载 PASCAL VOC07 和 PASCAL VOC12 数据集（链接）并将数据放在 data 文件夹中，例如：

mkdir -p data
cd data
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
tar -xf VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
tar -xf VOCtrainval_11-May-2012.tar

在我们论文中报告的实验中，我们使用了 data/voc_train.txt 中的前 10,000 个示例进行第一阶段去噪。这个文本文件是通过收集 data/VOC2007/JPEGImages 和 data/VOC2012/JPEGImages 中的所有 JPG 图像，排除验证图像，然后随机打乱生成的。

2. ADE20K：[旧版，需要检查] 请下载 ADE20K 数据集 并将数据放在 data/ADEChallengeData2016 中。

3. NYU-D： 请下载 NYU-depth 数据集 并将数据放在 data/nyu 中。结果是基于 2014 年注释提供的，遵循先前的工作。

4. ImageNet（可选）：

   • 从 http://www.image-net.org/ 下载 ImageNet 数据集
   • 按照这里的说明提取数据。
   • 将数据放在 data/imagenet 中。

运行代码

查看 sample_scripts 获取运行代码的示例。 我们在demo/demo_outputs中提供了一些演示输出。例如，这张图像展示了我们对一张猫咪图片的去噪结果： 从左到右，我们展示了：(1)输入裁剪，(2)原始DINOv2 base输出，(3)原始输出的K均值聚类，(4)原始输出的L2特征范数，(5)原始输出中中心块与其他块之间的相似度，(6)我们的去噪输出，(7)去噪输出的K均值聚类，(8)去噪输出的L2特征范数，(9)去噪输出中中心块与其他块之间的相似度，(10)分解出的共享伪影，(11)共享伪影的L2范数，(12)真实残差误差，(13)预测的残差项，以及(14)共享伪影和预测残差项的组合。

主要结果和检查点

VOC评估结果

ADE20K评估结果

NYU-D 评估结果

降噪器检查点

[ ] 即将发布。