TRT-YOLO视频流水线: 基于TensorRT的多路多卡并行视频分析处理框架

Ray

trt_yolo_video_pipeline

TRT-YOLO视频流水线:高效实时的多路视频分析框架

在当今的智能视频分析领域,如何高效处理大规模视频流并实现实时目标检测一直是一个重要挑战。为了解决这个问题,GitHub用户1461521844lijin开发了一个名为trt_yolo_video_pipeline的开源项目,该项目提供了一个基于TensorRT和YOLO系列模型的高性能视频分析处理框架。本文将详细介绍这个项目的主要特性、使用方法以及技术实现。

项目主要特性

trt_yolo_video_pipeline项目具有以下几个突出特点:

完整的视频处理流水线:支持从视频拉流、解码、TensorRT推理、渲染到编码推流的全流程处理。
支持YOLO系列模型:可以使用YOLOv3/v4/v5/v7/v8等多种YOLO模型进行目标检测。
多GPU并行推理:支持单模型在多张GPU上运行多个实例,实现负载均衡。
GPU加速:数据前处理和后处理均在GPU上进行,最大化利用GPU算力。
硬件编解码:利用NVIDIA GPU的硬件编解码能力,节省CPU资源。
多种输入输出格式:支持RTSP、RTMP、MP4等多种视频输入格式,可输出RTSP、RTMP流或本地MP4文件。

这些特性使得该项目能够高效处理多路视频流,适用于安防监控、智慧城市等需要大规模实时视频分析的场景。

环境配置与使用

要使用trt_yolo_video_pipeline,需要配置以下环境:

Linux操作系统(推荐Ubuntu)
CUDA 10.2+
TensorRT 8.0+
FFmpeg 5.2+
OpenCV 4.8.0+
GCC 7.5+

项目提供了一键式环境构建脚本,可以自动安装和编译FFmpeg和OpenCV。对于TensorRT,需要用户自行安装CUDA和TensorRT SDK。

使用时,首先需要将YOLO模型转换为TensorRT引擎文件。项目提供了onnx2trtengine.sh脚本来完成这一步骤。转换完成后,只需编写少量代码即可实现一个完整的视频分析pipeline:

#include "infer/MultipleInferenceInstances.h"
#include "trt/yolo/YoloDetectPipeline.h"
#include "trt/yolo/YoloDetectionInfer.h"

int main() {
    std::string input_stream_url = "输入流路径";
    std::string output_stream_url = "输出流路径";
    std::string model_path = "TRTengine模型文件路径";
    std::string label_path = "检测分类类别文件路径";
    
    // 创建多卡多实例推理对象
    auto trt_instance = std::make_shared<infer::MultipleInferenceInstances<infer::YoloDetectionInfer>>(
        "trt_instance", {0,0,1,1}, model_path, label_path, infer::YoloType::V8, 
        0.25, 0.5, 16);
    
    // 创建处理pipeline
    auto pipeline = std::make_shared<pipeline::YoloDetectPipeline>(
        "test_pipeline", input_stream_url, output_stream_url, trt_instance);

    // 启动流水线
    pipeline->Start();

    getchar();
}

这段代码创建了一个使用YOLOv8模型的视频分析pipeline,支持在两张GPU上各运行两个推理实例,实现了视频输入、目标检测和结果输出的完整流程。