QueryInst

项目介绍：QueryInst

概述

QueryInst 是一种基于查询的实例分割方法，其设计通过动态掩码头的平行监督驱动。该方法的突出特点是其简洁性与高效性，在准确性和速度上均超越了以往的技术。QueryInst 在2021年的国际计算机视觉会议（ICCV 2021）中正式亮相，并迅速成为实例分割任务中的热门工具。项目基于 mmdetection 开发，后继续于 Cityscapes 和 YouTube-VIS 等拓展。

项目的关键特点

1. 创新的方法：

   • QueryInst 提出了将实例视作查询的新思路，使得实例识别任务与传统方法相比在性能上更具竞争力。
   • 这种方法特别在大规模视频对象分割挑战赛中表现出色，以单模型、单尺度测试解决方案取得第二名。

2. 性能表现：

   • QueryInst 在多个对象识别任务中展示出优异的性能，包括对象检测、实例分割和视频实例分割。
   • 项目提供了多种配置文件，用户可以根据需求选择合适的模型进行训练与测试。

3. 灵活的实现：

   • QueryInst 同时支持多GPU以及单GPU训练和测试，方便不同计算资源条件的开发者使用。
   • 该项目支持基于 Swin-Transformer 和 Test-Time-Augmentation 的特性，进一步提升模型的效果。

实验结果

在 COCO 数据集上的测试中，QueryInst 各种配置都显示出色的表现，比如在使用 Swin_Large 的配置下，单模型、单尺度测试下的 Box AP 达到了 56.1，而 Mask AP 则为 49.1。

快速上手

1. 安装：

   • QueryInst 建立在 mmdetection 工具箱之上，用户需先行安装 mmdetection。
   • 使用 python setup.py develop 来安装 QueryInst。

2. 数据准备：

   • 创建并进入数据目录后，链接到 COCO 数据集合适路径。

3. 训练与测试：

   • 单 GPU 训练：python tools/train.py [CONFIG_PATH]
   • 多 GPU 训练：./tools/dist_train.sh [CONFIG_PATH] [NUM_GPUS]
   • 单 GPU 测试：python tools/test.py [CONFIG_PATH] [CHECKPOINT_PATH] --eval bbox segm
   • 多 GPU 测试：./tools/dist_test.sh [CONFIG_PATH] [CHECKPOINT_PATH] [NUM_GPUS] --eval bbox segm

开发计划

该项目正在积极扩展中，目前已包括 Swin-Transformer 和预训练权重等功能，即将推出的是针对 Cityscapes 和 YouTube-VIS 的配置。

引用

如果您觉得 QueryInst 对您的研究或项目有帮助，可以引用以下的论文：

@InProceedings{Fang_2021_ICCV,
    author    = {Fang, Yuxin and Yang, Shusheng and Wang, Xinggang and Li, Yu and Fang, Chen and Shan, Ying and Feng, Bin and Liu, Wenyu},
    title     = {Instances As Queries},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
    month     = {October},
    year      = {2021},
    pages     = {6910-6919}
}

@article{QueryTrack,
  title={Tracking Instances as Queries},
  author={Yang, Shusheng and Fang, Yuxin and Wang, Xinggang and Li, Yu and Shan, Ying and Feng, Bin and Liu, Wenyu},
  journal={arXiv preprint arXiv:2106.11963},
  year={2021}
}

随着技术的不断发展，相信 QueryInst 会在实例识别领域继续带来更多的创新和惊喜。