GiT

GiT

通用视觉Transformer模型实现多任务统一

GiT是一种通用视觉Transformer模型,采用单一ViT架构处理多种视觉任务。该模型设计简洁,无需额外视觉编码器和适配器。通过统一语言接口,GiT实现了从目标检测到图像描述等多任务能力。在多任务训练中,GiT展现出任务间协同效应,性能超越单任务训练且无负迁移。GiT在零样本和少样本测试中表现优异,并随模型规模和数据量增加而持续提升性能。

GiT视觉Transformer多任务学习计算机视觉语言接口Github开源项目

首个GPT风格的通用视觉模型仅使用普通ViT统一了各种视觉任务。没有负迁移。

<h5 align="center">

arXiv License Hits GitHub issues GitHub closed issues
Twitter <br>

</h5>

这个仓库是ECCV2024 <font color=Red>口头报告</font>论文GiT: 通过通用语言接口实现通用视觉Transformer及其后续工作的官方实现。我们尽最大努力确保代码库简洁、易读、最先进,并且只依赖最少的外部库。

GiT: 通过通用语言接口实现通用视觉Transformer

王海洋*, 唐浩*, 江力 $^\dagger$, 石少帅, Muhammad Ferjad Naeem, 李宏生, Bernt Schiele, 王立威 $^\dagger$

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/62c62b6a-8471-4cd7-ac5a-26db87e3012f.png" width="800"/> </div>

📣 新闻

  • [24-8-12] 🤗 我们的GiT被ECCV2024接收为<font color=Red>口头报告</font>
  • [24-7-01] 🤗 我们的GiT被ECCV2024接收。
  • [24-3-15] 🚀 训练和推理代码已发布。
  • [24-3-15] 👀 GiT已在arXiv上发布。

💫 我们想做什么

各种AI领域的模型架构正在朝着<font color=Red>多层普通Transformer</font>的方向收敛。

  • 语言建模 (GPT)
  • 2D图像建模 (ViT)
  • 3D点云建模 (DSVT)
  • 2D图像和3D点云联合建模 (UniTR)
  • 图建模 (Graphormer)
  • $\cdot \cdot \cdot$

减少模型架构设计中的人为偏见

我们旨在通过普通Transformer统一视觉和语言的模型架构,减少人为偏见,如特定模态的编码器和特定任务的头部。深度学习的一个关键进展是从手工设计特征转向自主学习特征,这启发我们减少架构中人为设计的方面。此外,受益于普通Transformer的灵活性,我们的框架可以扩展到更多模态,如点云和图。

🤔 我们的成果

构建一个跨所有任务的通用计算模型是人工智能的基石,减少了对特定任务设计的需求。在这个项目中,我们引入了GiT (Generalist Vision Transformer)。GiT具有以下特点:

  • 😮 类似LLM的极简架构设计:GiT仅由单个Transformer组成,不包含额外的视觉编码器和适配器。
  • 🚀 覆盖所有类型的视觉理解任务:GiT解决了一系列视觉任务,包括对象级任务(如目标检测)、像素级任务(如语义分割)和视觉-语言任务(如图像描述)。
  • 🤗 通过统一语言接口实现多任务能力:类似于LLM,GiT在多任务训练中观察到任务协同效应。它促进了任务间的相互增强,与单独训练相比取得了显著改进。没有负迁移现象。
  • 🔥 在零样本和少样本基准测试中表现强劲:GiT随模型规模和数据量的增加而良好扩展,在27个数据集上训练后展示了在各种场景中的卓越泛化能力。
  • 👍 简单的单阶段训练策略:GiT使用非常简单的单阶段训练策略,完全采用当前LLM框架使用的训练方式。

概述

🚀 主要结果

单任务基准测试

模型参数量指标性能检查点日志配置
GiT-B<sub>检测</sub>131MmAP45.1检查点日志配置
GiT-B<sub>实例分割</sub>131MmAP31.4检查点日志配置
GiT-B<sub>语义分割</sub>131MmIoU47.7检查点日志配置
GiT-B<sub>图像描述</sub>131MBLEU-433.7检查点日志配置
GiT-B<sub>视觉定位</sub>131MAcc@0.583.3检查点日志配置

多任务基准测试

模型参数量检测实例分割语义分割图像描述视觉定位检查点日志配置
GiT-B<sub>多任务</sub>131M46.731.947.835.385.8检查点日志配置
GiT-L<sub>多任务</sub>387M51.335.150.635.788.4检查点日志配置
GiT-H<sub>多任务</sub>756M52.935.852.436.289.2检查点日志配置

多任务训练中的任务协同效应

模型参数量检测实例分割语义分割图像描述视觉定位
GiT-B<sub>单任务</sub>131M45.131.447.733.783.3
提升+1.6+0.5+0.1+1.6+2.5
GiT-B<sub>多任务</sub>131M46.731.947.835.385.8

零样本基准测试

模型参数量Cityscapes<br>(检测)Cityscapes <br>(实例分割)Cityscapes <br>(语义分割)SUN RGB-Dnocaps检查点日志配置
GiT-B<sub>多任务</sub>131M21.814.334.430.99.2检查点日志配置
GiT-B<sub>通用</sub>131M29.117.956.237.510.6检查点日志配置
GiT-L<sub>通用</sub>387M32.320.358.039.911.6检查点日志配置
GiT-H<sub>通用</sub>756M34.118.761.842.512.6检查点日志配置

少样本基准测试

模型参数量DRIVELoveDAPotsdamWIDERFaceDeepFashion配置
GiT-B<sub>多任务</sub>131M34.324.919.117.423.0配置
GiT-B<sub>通用</sub>131M51.130.830.631.238.3配置
GiT-L<sub>通用</sub>387M55.434.137.233.449.3配置
GiT-H<sub>通用</sub>756M57.935.143.434.052.2配置

🛠️ 快速开始

安装

conda create -n GiT python=3.8 conda activate GiT # 我们仅在1.9.1版本中进行了测试,其他版本可能也能正常工作。 pip install torch==1.9.1+cu111 torchvision==0.10.1+cu111 torchaudio==0.9.1 -f https://download.pytorch.org/whl/torch_stable.html pip install -U openmim mim install "mmengine==0.8.3" mim install "mmcv==2.0.1" pip install "transformers==4.31.0" git clone git@github.com:Haiyang-W/GiT.git cd GiT pip install -v -e . pip install -r requirements/optional.txt pip install -r requirements/runtime.txt # 如果遇到ChildFailedError,请更新yapf pip install yapf==0.40.1
  • 请从huggingface下载预训练的文本嵌入,并按以下方式组织下载的文件:
GiT
|──bert_embed.pt
|——bert_embed_large.pt
|——bert_embed_huge.pt
  • (可选)手动安装Java以进行图像描述评估。如果没有Java,您可以正常训练图像描述,但无法进行描述评估。
  • (可选)为LVIS数据集安装lvis api。
# 当前路径为 ./GiT
cd ..
pip install git+https://github.com/lvis-dataset/lvis-api.git

数据集准备

多任务数据集

多任务基准包含用于目标检测和实例分割的coco2017数据集、用于语义分割的ade20k数据集、用于图像描述的coco caption数据集,以及用于视觉定位的refcoco系列数据集。

GiT
|──data
|  |──ade
|  |  |──ADEChallengeData2016
|  |  |  |──annorations
|  |  |  |  |──训练集和验证集
|  |  |  |──images
|  |  |  |  |──训练集和验证集
|  |  |  |──objectInfo150.txt
|  |  |  |──sceneCategories.txt
|  |──coco
|  |  |──annotations
|  |  |  |──*.json
|  |  |──train2017
|  |  |  |──*.jpg
|  |  |──val2017
|  |  |  |──*.jpg
|  |──coco_2014
|  |  |──annotations
|  |  |  |──*.json
|  |  |  |──coco_karpathy_test.json
|  |  |  |──coco_karpathy_train.json
|  |  |  |──coco_karpathy_val_gt.json
|  |  |  |──coco_karpathy_val.json
|  |  |──train2014
|  |  |  |──*.jpg
|  |  |──val2014
|  |  |  |──*.jpg
|  |  |──refcoco
|  |  |  |──*.p

通用数据集

我们在通用训练中使用了27个数据集。有关数据集准备的更多详细信息,请参阅这里

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/9e3f85ac-4fd8-4e9a-9945-fa7ea4babbd2.png" width="800"/> </div> <br>

🚨 我们在下面只列出了部分命令(GiT-B)。有关更详细的命令,请参阅这里

训练

单任务

检测

bash tools/dist_train.sh configs/GiT/single_detection_base.py ${GPU_NUM} --work-dir ${work_dir}

多任务

GiT-B

bash tools/dist_train.sh configs/GiT/multi_fivetask_base.py ${GPU_NUM} --work-dir ${work_dir}

通用训练

GiT-B

bash tools/dist_train.sh configs/GiT/universal_base.py ${GPU_NUM} --work-dir ${work_dir}

测试

单任务

检测

bash tools/dist_test.sh configs/GiT/single_detection_base.py ${ckpt_file} ${GPU_NUM} --work-dir ${work_dir}

多任务

GiT-B

bash tools/dist_test.sh configs/GiT/multi_fivetask_base.py ${ckpt_file} ${GPU_NUM} --work-dir ${work_dir}

零样本和少样本

请从huggingface下载通用预训练权重,并按以下方式组织文件:

GiT
|──universal_base.pth
|——universal_large.pth
|——universal_huge.pth

零样本

bash tools/dist_test.sh configs/GiT/zero-shot/zero_shot_cityscapes_det_base.py ${ckpt_file} ${GPU_NUM} --work-dir ${work_dir}

少样本

bash tools/dist_train.sh configs/GiT/few-shot/few_shot_drive_det_base.py ${GPU_NUM} --work-dir ${work_dir}

自定义数据集

如果你想在自己的数据集上使用GiT,请参阅这里了解更多详情。

🚀 轻量版本

如果你的GPU内存不足,你可以像这里一样降低分辨率,我们将检测分辨率降至672。它需要约20小时的训练时间,并达到约41.5 mAP。

👀 待办事项

  • 发布arXiv版本。
  • 通用模型在多任务基准上的最先进性能。
  • 通用模型在零样本和少样本基准上的最先进性能。
  • 整理并发布推理代码。
  • 整理并发布训练代码。
  • 工程优化(更快)。
  • 包括语言在内的联合训练(更强)。
  • 代码重构(现在也有点乱,抱歉)。

👍 致谢

  • MMDetection 我们构建的代码基础。感谢提供如此方便的框架。
  • BLIP 我们从BLIP预训练模型中提取文本嵌入,并使用BLIP过滤的网络标题。感谢他们在开源和清理数据集方面所做的努力。

📘 引用

如果我们的工作对你有帮助,请考虑如下引用:

@article{wang2024git,
    title={GiT: Towards Generalist Vision Transformer through Universal Language Interface},
    author={Haiyang Wang and Hao Tang and Li Jiang and Shaoshuai Shi and Muhammad Ferjad Naeem and Hongsheng Li and Bernt Schiele and Liwei Wang},
    journal={arXiv preprint arXiv:2403.09394},
    year={2024}
}

✨ Star历史

Star History Chart

编辑推荐精选

AEE

AEE

AI Excel全自动制表工具

AEE 在线 AI 全自动 Excel 编辑器,提供智能录入、自动公式、数据整理、图表生成等功能,高效处理 Excel 任务,提升办公效率。支持自动高亮数据、批量计算、不规则数据录入,适用于企业、教育、金融等多场景。

UI-TARS-desktop

UI-TARS-desktop

基于 UI-TARS 视觉语言模型的桌面应用,可通过自然语言控制计算机进行多模态操作。

UI-TARS-desktop 是一款功能强大的桌面应用,基于 UI-TARS(视觉语言模型)构建。它具备自然语言控制、截图与视觉识别、精确的鼠标键盘控制等功能,支持跨平台使用(Windows/MacOS),能提供实时反馈和状态显示,且数据完全本地处理,保障隐私安全。该应用集成了多种大语言模型和搜索方式,还可进行文件系统操作。适用于需要智能交互和自动化任务的场景,如信息检索、文件管理等。其提供了详细的文档,包括快速启动、部署、贡献指南和 SDK 使用说明等,方便开发者使用和扩展。

Wan2.1

Wan2.1

开源且先进的大规模视频生成模型项目

Wan2.1 是一个开源且先进的大规模视频生成模型项目,支持文本到图像、文本到视频、图像到视频等多种生成任务。它具备丰富的配置选项,可调整分辨率、扩散步数等参数,还能对提示词进行增强。使用了多种先进技术和工具,在视频和图像生成领域具有广泛应用前景,适合研究人员和开发者使用。

爱图表

爱图表

全流程 AI 驱动的数据可视化工具,助力用户轻松创作高颜值图表

爱图表(aitubiao.com)就是AI图表,是由镝数科技推出的一款创新型智能数据可视化平台,专注于为用户提供便捷的图表生成、数据分析和报告撰写服务。爱图表是中国首个在图表场景接入DeepSeek的产品。通过接入前沿的DeepSeek系列AI模型,爱图表结合强大的数据处理能力与智能化功能,致力于帮助职场人士高效处理和表达数据,提升工作效率和报告质量。

Qwen2.5-VL

Qwen2.5-VL

一款强大的视觉语言模型,支持图像和视频输入

Qwen2.5-VL 是一款强大的视觉语言模型,支持图像和视频输入,可用于多种场景,如商品特点总结、图像文字识别等。项目提供了 OpenAI API 服务、Web UI 示例等部署方式,还包含了视觉处理工具,有助于开发者快速集成和使用,提升工作效率。

HunyuanVideo

HunyuanVideo

HunyuanVideo 是一个可基于文本生成高质量图像和视频的项目。

HunyuanVideo 是一个专注于文本到图像及视频生成的项目。它具备强大的视频生成能力,支持多种分辨率和视频长度选择,能根据用户输入的文本生成逼真的图像和视频。使用先进的技术架构和算法,可灵活调整生成参数,满足不同场景的需求,是文本生成图像视频领域的优质工具。

WebUI for Browser Use

WebUI for Browser Use

一个基于 Gradio 构建的 WebUI,支持与浏览器智能体进行便捷交互。

WebUI for Browser Use 是一个强大的项目,它集成了多种大型语言模型,支持自定义浏览器使用,具备持久化浏览器会话等功能。用户可以通过简洁友好的界面轻松控制浏览器智能体完成各类任务,无论是数据提取、网页导航还是表单填写等操作都能高效实现,有利于提高工作效率和获取信息的便捷性。该项目适合开发者、研究人员以及需要自动化浏览器操作的人群使用,在 SEO 优化方面,其关键词涵盖浏览器使用、WebUI、大型语言模型集成等,有助于提高网页在搜索引擎中的曝光度。

xiaozhi-esp32

xiaozhi-esp32

基于 ESP32 的小智 AI 开发项目,支持多种网络连接与协议,实现语音交互等功能。

xiaozhi-esp32 是一个极具创新性的基于 ESP32 的开发项目,专注于人工智能语音交互领域。项目涵盖了丰富的功能,如网络连接、OTA 升级、设备激活等,同时支持多种语言。无论是开发爱好者还是专业开发者,都能借助该项目快速搭建起高效的 AI 语音交互系统,为智能设备开发提供强大助力。

olmocr

olmocr

一个用于 OCR 的项目,支持多种模型和服务器进行 PDF 到 Markdown 的转换,并提供测试和报告功能。

olmocr 是一个专注于光学字符识别(OCR)的 Python 项目,由 Allen Institute for Artificial Intelligence 开发。它支持多种模型和服务器,如 vllm、sglang、OpenAI 等,可将 PDF 文件的页面转换为 Markdown 格式。项目还提供了测试框架和 HTML 报告生成功能,方便用户对 OCR 结果进行评估和分析。适用于科研、文档处理等领域,有助于提高工作效率和准确性。

飞书多维表格

飞书多维表格

飞书多维表格 ×DeepSeek R1 满血版

飞书多维表格联合 DeepSeek R1 模型,提供 AI 自动化解决方案,支持批量写作、数据分析、跨模态处理等功能,适用于电商、短视频、影视创作等场景,提升企业生产力与创作效率。关键词:飞书多维表格、DeepSeek R1、AI 自动化、批量处理、企业协同工具。

下拉加载更多