vs-mlrt: 高效的VapourSynth机器学习运行时

vs-mlrt

vs-mlrt: 高效的VapourSynth机器学习运行时

vs-mlrt是一个为VapourSynth视频处理框架提供高效CPU/GPU机器学习运行时的开源项目。它为各种硬件平台提供了优化的AI滤镜运行环境,支持多种流行的超分辨率和视频增强模型。

项目概览

vs-mlrt项目的主要目标是为VapourSynth用户提供一个统一的、高性能的机器学习运行时环境。它支持多种硬件平台,包括:

x86 CPU
Intel GPU (集成和独立显卡)
NVIDIA GPU
AMD GPU

通过提供多种后端实现,vs-mlrt可以充分利用不同硬件的计算能力,为用户提供最佳性能。

vs-mlrt architecture

支持的运行时

vs-mlrt项目包含以下几个主要的运行时组件:

vsov: 基于OpenVINO的CPU和Intel GPU运行时
vsort: 基于ONNX Runtime的CPU/GPU运行时
vstrt: 基于TensorRT的NVIDIA GPU运行时
vsmigx: 基于MIGraphX的AMD GPU运行时
vsncnn: 基于NCNN的Vulkan GPU运行时

每种运行时都针对特定的硬件平台进行了优化,用户可以根据自己的硬件选择最适合的运行时。

内置模型支持

vs-mlrt内置支持多种流行的图像和视频增强AI模型,包括但不限于:

waifu2x
Real-ESRGAN v2/v3
Real-CUGAN
DPIR
RIFE
SCUNet

这些模型可以用于图像超分辨率、去噪、插帧等任务,大大提升视频画质。

使用方法

vs-mlrt提供了一个Python包装器vsmlrt.py,使用起来非常简单。以下是一个使用Real-ESRGAN模型进行2倍放大的示例:

import vapoursynth as vs
from vsmlrt import RealESRGANv2

core = vs.core

# 读取视频
video = core.ffms2.Source('input.mp4')

# 使用Real-ESRGAN v2进行2倍放大
upscaled = RealESRGANv2(video, scale=2, device_type='cuda')  

# 输出处理后的视频
upscaled.set_output()

用户只需要指定输入视频、所需的模型和设备类型,vs-mlrt就会自动选择最合适的后端来运行模型。