一图胜千言，同样，为图片添加的文字也意味深长。

📌 如果您觉得我们的项目有帮助，需要更多的API令牌配额，您可以通过填写此表格申请额外的令牌。我们的团队将审核您的请求，并在一两天内为您分配更多令牌。您也可以通过发送电子邮件给我们申请更多令牌。

介绍视频 🎥

如果可能的话，请打开音乐 🎧

新闻 📰

2024-06-24: 我们基于T-Rex2推出了两款新的免费产品：
- Count Anything APP：CountAnything是一款多功能、高效且经济实惠的计数工具，它利用先进的计算机视觉算法，特别是T-Rex，进行自动计数。适用于制造业、农业和水产养殖业等多个行业。

T-Rex Label：T-Rex Label是一款由T-Rex2驱动的高级标注工具，专门设计用于处理各种行业和场景的复杂性。它是那些旨在简化工作流程并轻松创建高质量数据集的人的理想选择。

2024-05-17: Grounding DINO 1.5已发布。这是IDEA Research最强大的开放世界目标检测模型系列。它可以通过文本提示检测任何对象！

目录 📜

介绍视频 🎥
新闻 📰
目录 📜
1. 简介 📚
- T-Rex能做什么 📝
2. 试用演示 🎮
3. API使用示例📚
4. 使用API的本地Gradio演示🎨
5. 相关工作
BibTeX 📚

1. 简介 📚

目标检测，即在图像中定位和识别物体的能力，是计算机视觉的基石，对从自动驾驶到内容审核的应用至关重要。传统目标检测模型的一个显著局限性是它们的封闭集性质。这些模型是在预定义的类别集上训练的，限制了它们只能识别这些特定类别。训练过程本身也很艰巨，需要专业知识、大量数据集和复杂的模型调整才能达到理想的准确度。此外，引入新的对象类别会加剧这些挑战，需要重复整个过程。

T-Rex2通过在一个模型中整合文本和视觉提示来解决这些限制，从而利用两种模态的优势。文本和视觉提示的协同效应使T-Rex2具备强大的零样本能力，使其成为不断变化的目标检测领域中的多功能工具。

T-Rex能做什么 📝

T-Rex2适用于各种现实世界的应用，包括但不限于：农业、工业、畜牧业和野生动物监测、生物学、医学、OCR、零售、电子、交通、物流等。T-Rex2主要支持三种主要工作流程，包括交互式视觉提示工作流程、通用视觉提示工作流程和文本提示工作流程。它可以覆盖大多数需要目标检测的应用场景。

2. 试用演示 🎮

我们现在开放了T-Rex2的在线演示。在这里查看我们的演示

3. API 使用示例📚

我们现在开放了 T-Rex2 的免费 API 访问。对于教育工作者、学生和研究人员，我们提供了一个可以长时间使用的 API，以支持您的教育和研究工作。您可以在这里申请 API。

完整的 API 文档可以在这里找到。

设置

安装 API 包并从邮件中获取 API 令牌。

git clone https://github.com/IDEA-Research/T-Rex.git
cd T-Rex
pip install dds-cloudapi-sdk==0.1.1
pip install -v -e .

交互式视觉提示 API

在交互式视觉提示工作流程中，用户可以在给定图像上以框或点的形式提供视觉提示，以指定要检测的对象。
```
python demo_examples/interactive_inference.py --token <your_token> 
```
- 您应该会在 demo_vis/ 中看到以下可视化结果

通用视觉提示 API

在通用视觉提示工作流程中，用户可以在一张参考图像上提供视觉提示，并在另一张图像上进行检测。
```
python demo_examples/generic_inference.py --token <your_token> 
```
- 您应该会在 demo_vis/ 中看到以下可视化结果
  + =

自定义视觉提示嵌入 API

在这个工作流程中，您可以使用多张图像为一个对象类别自定义视觉嵌入。有了这个嵌入，您可以在任何图像上进行检测。

python demo_examples/customize_embedding.py --token <your_token>

您应该会得到一个 safetensors 格式的视觉提示嵌入下载链接。保存它，然后我们用它来进行 embedding_inference。

嵌入推理 API

使用从上一个 API 生成的视觉提示嵌入，您可以在任何图像上进行检测。

  python demo_examples/embedding_inference.py --token <your_token>

4. 使用 API 的本地 Gradio 演示🎨

4.1. 设置

如果您还没有安装 T-Rex2 API，请先安装

# 安装 gradio 和其他依赖
pip install gradio==4.22.0
pip install gradio-image-prompter

4.2. 运行 Gradio 演示

python gradio_demo.py --trex2_api_token <your_token>

4.3. 基本操作

绘制框：在图像上绘制一个框来指定要检测的对象。拖动鼠标左键来绘制框。
绘制点：在图像上绘制一个点来指定要检测的对象。单击鼠标左键来绘制点。
交互式视觉提示：在给定图像上以框或点的形式提供视觉提示，以指定要检测的对象。输入目标图像和交互式视觉提示图像应该相同。
通用视觉提示：在多个参考图像上提供视觉提示，并在另一张图像上进行检测。

5. 相关工作

:fire: 我们发布了 DINOv 的训练和推理代码和演示链接，它可以处理开放集和指代检测与分割的上下文视觉提示。快来看看吧！

BibTeX 📚

@misc{jiang2024trex2,
      title={T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy}, 
      author={Qing Jiang and Feng Li and Zhaoyang Zeng and Tianhe Ren and Shilong Liu and Lei Zhang},
      year={2024},
      eprint={2403.14610},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}