[中文版本]

INTERN-2.5：多模态多任务通用大模型

InternImage的官方实现：

《InternImage: 使用可变形卷积探索大规模视觉基础模型》。

[论文] [中文博客]

亮点

• :thumbsup: 最强大的开源视觉通用骨干网络模型，参数规模高达30亿
• 🏆 在ImageNet上达到90.1%的Top1准确率，是开源模型中最高的
• 🏆 在COCO基准数据集上的目标检测任务中达到65.5 mAP，是唯一一个超过65.0 mAP的模型

相关项目

基础模型

• Uni-Perceiver：用于零样本和少样本任务的通用感知预训练统一架构
• Uni-Perceiver v2：用于大规模视觉和视觉语言任务的通用模型
• M3I-Pretraining：通过最大化多模态互信息的一阶段预训练范式
• InternVL：迄今为止最大的开源视觉/视觉语言基础模型（14B）

自动驾驶

• BEVFormer：基于相机的3D检测的前沿基线
• BEVFormer v2：通过透视监督将现代图像骨干网络适配到鸟瞰图识别

在挑战赛中的应用

• 2022 Waymo 3D仅相机检测挑战赛：基于InternImage的BEVFormer++获得第一名
• nuScenes 3D检测任务：BEVFormer v2在nuScenes仅相机任务上达到64.8 NDS的最佳性能
• CVPR 2023 端到端自动驾驶研讨会：InternImage为3D占用预测挑战赛和OpenLane拓扑挑战赛提供基线支持

新闻

• 2024年1月22日: 🚀 InternImage支持DCNv4！
• 2023年3月14日: 🚀 "INTERN-2.5"发布！
• 2023年2月28日: 🚀 InternImage被CVPR 2023接收！
• 2022年11月18日: 🚀 InternImage-XL与BEVFormer v2结合，在nuScenes仅相机任务上达到63.4 NDS的最佳性能。
• 2022年11月10日: 🚀 InternImage-H在COCO检测test-dev上达到新纪录65.4 mAP，在ADE20K上达到62.9 mIoU，大幅超越之前的模型。

历史

• 其他下游任务的模型/API
• 支持CVPR 2023端到端自动驾驶研讨会，见此处
• 支持Segment Anything
• 支持提取中间特征，见此处
• 使用DeepSpeed进行低成本训练，见此处
• DCNv3算子的免编译.whl包，见此处
• InternImage-H(1B)/G(3B)
• 分类/检测/分割模型的TensorRT推理
• InternImage系列的分类代码
• InternImage-T/S/B/L/XL ImageNet-1K预训练模型
• InternImage-L/XL ImageNet-22K预训练模型
• InternImage-T/S/B/L/XL检测和实例分割模型
• InternImage-T/S/B/L/XL语义分割模型

简介

"INTERN-2.5"是由商汤科技和上海人工智能实验室联合发布的强大多模态多任务通用模型。它由大规模视觉基础模型"InternImage"、预训练方法"M3I-Pretraining"、通用解码器"Uni-Perceiver"系列和用于自动驾驶感知的通用编码器"BEVFormer"系列组成。

应用

🌅 图像模态任务

"INTERN-2.5"在ImageNet基准数据集上仅使用公开可用数据就达到了90.1%的Top-1准确率。除了谷歌和微软使用额外数据集训练的两个未公开模型外，"INTERN-2.5"是唯一一个达到90.0%以上Top-1准确率的开源模型，也是世界上规模最大的模型。

"INTERN-2.5"在COCO目标检测基准数据集上以65.5的惊人mAP超越了世界上所有其他模型，是世界上唯一一个超过65 mAP的模型。

"INTERN-2.5"在其他16个重要的视觉基准数据集上也展示了世界最佳性能，涵盖了分类、检测和分割等广泛任务，成为多个领域表现最佳的模型。

性能

• 分类

• 检测

• 分割

🌁 📖 图像和文本跨模态任务

图像-文本检索："INTERN-2.5"能够根据文本内容要求快速定位和检索语义最相关的图像。这种能力可应用于视频和图像集合，并可进一步结合目标检测框，实现多种应用，帮助用户快速便捷地找到所需的图像资源。例如，它可以在相册中返回文本指定的相关图像。

图像转文本："INTERN-2.5"在图像描述、视觉问答、视觉推理和光学字符识别等多个视觉到文本任务方面具有强大的理解能力。例如，在自动驾驶场景中，它可以增强场景感知和理解能力，协助车辆判断交通信号状态、道路标志等信息，为车辆决策和规划提供有效的感知信息支持。

性能

发布的模型

export MMDEPLOY_DIR=/the/root/path/of/MMDeploy

# 准备我们的自定义算子，您可以在InternImage/tensorrt/modulated_deform_conv_v3找到它
cp -r modulated_deform_conv_v3 ${MMDEPLOY_DIR}/csrc/mmdeploy/backend_ops/tensorrt

# 构建自定义算子
cd ${MMDEPLOY_DIR}
mkdir -p build && cd build
cmake -DCMAKE_CXX_COMPILER=g++-7 -DMMDEPLOY_TARGET_BACKENDS=trt -DTENSORRT_DIR=${TENSORRT_DIR} -DCUDNN_DIR=${CUDNN_DIR} ..
make -j$(nproc) && make install

# 构建自定义算子后安装mmdeploy
cd ${MMDEPLOY_DIR}
pip install -e .

引用

如果本工作对您的研究有帮助，请考虑引用以下BibTeX条目。

@article{wang2022internimage,
  title={InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions},
  author={Wang, Wenhai and Dai, Jifeng and Chen, Zhe and Huang, Zhenhang and Li, Zhiqi and Zhu, Xizhou and Hu, Xiaowei and Lu, Tong and Lu, Lewei and Li, Hongsheng and others},
  journal={arXiv preprint arXiv:2211.05778},
  year={2022}
}

@inproceedings{zhu2022uni,
  title={Uni-perceiver: Pre-training unified architecture for generic perception for zero-shot and few-shot tasks},
  author={Zhu, Xizhou and Zhu, Jinguo and Li, Hao and Wu, Xiaoshi and Li, Hongsheng and Wang, Xiaohua and Dai, Jifeng},
  booktitle={CVPR},
  pages={16804--16815},
  year={2022}
}

@article{zhu2022uni, 标题={Uni-perceiver-moe: 使用条件型专家混合系统学习稀疏通用模型}, 作者={朱靖国 and 朱西州 and 王文海 and 王小华 and 李弘盛 and 王晓刚 and 戴继峰}, 期刊={arXiv预印本 arXiv:2206.04674}, 年份={2022} }

@article{li2022uni, 标题={Uni-Perceiver v2: 用于大规模视觉和视觉语言任务的通用模型}, 作者={李昊 and 朱靖国 and 蒋晓虎 and 朱西州 and 李弘盛 and 袁春 and 王小华 and 乔宇 and 王晓刚 and 王文海 and 其他}, 期刊={arXiv预印本 arXiv:2211.09808}, 年份={2022} }

@article{yang2022bevformer, 标题={BEVFormer v2: 通过透视监督将现代图像骨干网络适配到鸟瞰视角识别}, 作者={杨晨宇 and 陈云涛 and 田浩 and 陶晨鑫 and 朱西州 and 张兆翔 and 黄高 and 李弘扬 and 乔宇 and 卢乐为 and 其他}, 期刊={arXiv预印本 arXiv:2211.10439}, 年份={2022} }

@article{su2022towards, 标题={迈向全面预训练：通过最大化多模态互信息}, 作者={苏伟杰 and 朱西州 and 陶晨鑫 and 卢乐为 and 李斌 and 黄高 and 乔宇 and 王晓刚 and 周杰 and 戴继峰}, 期刊={arXiv预印本 arXiv:2211.09807}, 年份={2022} }

@inproceedings{li2022bevformer, 标题={BEVFormer: 通过时空变换器从多相机图像学习鸟瞰视角表示}, 作者={李志琦 and 王文海 and 李弘扬 and 谢恩泽 and 司马重豪 and 陆通 and 乔宇 and 戴继峰}, 会议={ECCV}, 页码={1--18}, 年份={2022}, }