NVIDIA Jetson AGX Xavier上的GPUDirect RDMA演示项目:jetson-rdma-picoevb

jetson-rdma-picoevb

NVIDIA Jetson AGX Xavier上的GPUDirect RDMA演示

NVIDIA最近开源了一个名为jetson-rdma-picoevb的项目,旨在演示如何在Jetson AGX Xavier平台上实现GPUDirect RDMA(远程直接内存访问)功能。这个项目提供了一个基于硬件的最小化演示,展示了PCIe设备如何直接访问CUDA内存,从而实现CUDA与PCIe设备之间的零拷贝数据共享。

项目概述

jetson-rdma-picoevb项目主要包含以下几个部分:

FPGA固件:作为PCIe设备访问CUDA内存
Linux内核驱动程序:实现RDMA功能
用户空间测试应用:验证RDMA功能并测试性能

该项目支持以下平台:

NVIDIA Jetson AGX Xavier运行Linux for Tegra (L4T)
NVIDIA Drive AGX Xavier运行Embedded Linux
安装NVIDIA CUDA驱动程序并配备Quadro或Tesla GPU的PC

RDMA配置和数据流

硬件要求

该项目使用FPGA作为访问CUDA内存的PCIe设备。支持以下两种FPGA开发板:

RHS Research PicoEVB
- M.2接口的FPGA开发板
- 通过PCIe总线传输应用数据
- 通过M.2接口的USB总线进行编程
- 可从picoevb.com或Amazon购买
HiTech Global HTG-K800
- 全尺寸x16 PCIe卡
- 可直接插入Jetson或PC的全尺寸PCIe插槽
- 支持XCKU-60 FPGA

此外,还需要一些适配器来连接FPGA板与Jetson或PC。对于PicoEVB,可能需要PCIe到M.2的适配器或M.2到Mini-PCIe的适配器组合。

FPGA编程

项目使用Xilinx Vivado设计套件来编译和编程FPGA比特流。需要在x86 Linux PC上运行Vivado软件。

PicoEVB项目需要Vivado 2018.3版本,而HTG-K800项目需要Vivado 2018.1版本。较新版本的Vivado应该也可以导入这些项目。

对于PicoEVB板,还需要一个名为xvcd(Xilinx Virtual Cable Daemon)的软件来与FPGA通信进行编程。xvcd需要在插入PicoEVB板的系统上运行。

内核驱动程序

项目提供了一个Linux内核驱动程序来实现RDMA功能。可以在Jetson/Drive AGX Xavier上本地编译,也可以在x86 Linux PC上交叉编译。

编译驱动程序的步骤如下:

sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/kernel-module/
./build-for-jetson-drive-igpu-native.sh

这将生成picoevb-rdma.ko内核模块文件。

用户空间应用

项目提供了几个用户空间测试应用程序来验证RDMA功能:

rdma-malloc:使用malloc()分配内存进行测试
rdma-cuda:使用CUDA API分配内存进行测试
性能测试应用:测试单向复制功能的传输性能

这些应用程序最好在Jetson/Drive AGX Xavier上本地编译。编译步骤如下:

sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/client-applications/
./build-for-jetson-drive-igpu-native.sh

运行测试

编译完成后,可以运行以下命令来执行测试:

sudo ./rdma-malloc
sudo ./rdma-cuda
sudo ./rdma-malloc-h2c-perf
sudo ./rdma-malloc-c2h-perf  
sudo ./rdma-cuda-h2c-perf
sudo ./rdma-cuda-c2h-perf

这些测试会分配源内存和目标内存,填充已知模式,使用FPGA复制数据,然后验证数据是否正确复制。性能测试应用程序还会报告传输性能。

结语

jetson-rdma-picoevb项目为开发者提供了一个极好的起点,用于探索和实现Jetson平台上的GPUDirect RDMA功能。通过这个项目,开发者可以深入了解PCIe设备与CUDA内存之间的直接数据传输机制,为开发高性能计算和AI应用奠定基础。

虽然这只是一个演示项目,但其中的概念和技术可以应用到实际的生产环境中,以提高数据传输效率,减少CPU开销。对于那些正在使用Jetson平台开发需要高效数据传输的应用的开发者来说,这个项目无疑是一个宝贵的资源。