访问官网
Github
Huggingface
文档
论文rtdetr_r50vd_coco_o365项目介绍
概述
rtdetr_r50vd_coco_o365项目是基于实时检测变压器（RT-DETR）的目标检测模型。这个项目旨在解决YOLO系列模型存在的速度和精度矛盾问题。RT-DETR是第一个实时的端到端目标检测器，它通过不使用非极大值抑制(NMS)来提高目标检测速度和精度。
项目背景
YOLO模型以其速度和精度之间的合理平衡而受到广泛欢迎。然而，YOLO模型的预测速度和精度常常因需要执行非极大值抑制而受到限制。传统的基于变压器的检测器，如DETR，虽然不需要使用NMS，但其高计算成本又限制了其实际应用能力。RT-DETR通过创新的算法解决了这个问题。
模型特点
RT-DETR分两步实现：保持精度的同时提升速度，然后在保持速度的基础上进一步提升精度。具体来说，这个模型设计了一个高效的混合编码器，能够快速处理多尺度特征，并通过解耦内尺度和跨尺度的特征融合提高速度。此外，它提出了最小不确定性查询选择，能为解码器提供高质量的初始查询，从而提高检测精度。RT-DETR还支持灵活的速度调节，可以通过调整解码器层数来适应不同的应用场景，无需重新训练。
性能评价
在COCO数据集上，RT-DETR-R50的平均精度（AP）达到53.1%，帧率为108 FPS（在T4 GPU上），在速度和精度上均优于以往的YOLO模型。此外，在进行Objects365数据集的预训练后，RT-DETR-R50的AP提升至55.3%。
使用方法
使用RT-DETR模型非常简单，用户可以按照以下步骤在Python中实现目标检测：
import torch
import requests
from PIL import Image
from transformers import RTDetrForObjectDetection, RTDetrImageProcessor
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r50vd_coco_o365")
model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r50vd_coco_o365")
inputs = image_processor(images=image, return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)
for result in results:
for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
score, label = score.item(), label_id.item()
box = [round(i, 2) for i in box.tolist()]
print(f"{model.config.id2label[label]}: {score:.2f} {box}")
这个模型提供了高效的对象检测能力，无需繁琐的参数调整，用户只需简单几步即可实现复杂的检测任务。
结论
rtdetr_r50vd_coco_o365项目在实时目标检测领域取得了显著的进展。通过端到端的变压器结构和创新的编码解码器设计，它打破了传统检测模型速度与精度的限制，为计算机视觉应用提供了更为高效的解决方案。
