简介
本仓库提供了一个基于硬件的GPUDirect RDMA最小演示。该功能允许PCIe设备直接访问CUDA内存,从而实现CUDA与PCIe设备之间的零拷贝数据共享。
代码支持:
- 运行Linux for Tegra (L4T)的NVIDIA Jetson AGX Xavier (Jetson)。
- 运行嵌入式Linux的NVIDIA Drive AGX Xavier。
- 安装了NVIDIA CUDA驱动程序并包含Quadro或Tesla GPU的PC。
下图展示了本仓库中软件创建的系统配置以及组件间的数据流:
PCIe设备
获取硬件
本项目使用FPGA作为访问CUDA内存的PCIe设备。支持以下FPGA板:
- RHS Research PicoEVB。
- HiTech Global HTG-K800。
以下部分详细说明如何获取和编程每块板。
RHS Research PicoEVB
FPGA板
PicoEVB是一款M.2规格的FPGA板,通过主机的PCIe总线进行应用数据传输,并通过M.2连接器的USB总线进行编程。可从以下渠道获得:
- picoevb.com。
- 亚马逊;搜索ASIN "B0779PC8S4"或"PicoEVB"。
PCIe适配板
PicoEVB板是双面M.2设备。Jetson物理上只支持全尺寸PCIe连接器或单面M.2设备。PC通常只支持全尺寸PCIe连接器的板。需要某种形式的适配器以机械可靠的方式连接两者。
可以使用PCIe x16/x8/x4/x2/x1到M.2 key E适配器将PicoEVB板插入Jetson或PC的全尺寸PCIe插槽。亚马逊上可能有一款这样的适配板,ASIN为B013U4401W,产品名称为"Sourcingbay M.2(NGFF) Wireless Card to PCI-e 1X Adapter"。
以下一对适配器可用于将PicoEVB板连接到Jetson的M.2 key E连接器:
- M.2 2230 key E到Mini-PCIe适配器(带电缆)。亚马逊上可能有,ASIN为B07JFYSNVL,产品名称为"M.2 (NGFF) Key A/E/A+E to Mini PCI-E Adapter with FFC Cable"。或者,亚马逊上可能有,ASIN为B00JSBPF70,产品名称为"Bplus: P15S-P15F, M.2 (NGFF) to mPCIe Extender Board"。
- Mini-PCIe到M.2 2230适配板。亚马逊上可能有,ASIN为B07D4FCD1K,产品名称为"HLT M.2 (NGFF) to mPCIe (PCIe+USB) Adapter"。
以下适配器可用于将PicoEVB板连接到Drive AGX Xavier的M.2 key M连接器:
- M.2 KEY-M接口到M.2 KEY A-E或KEY E接口适配器。AliExpress上可能有,产品名称为"M.2 Wifi Adapter M.2 M Key to A+E Key Slot Wifi Bluetooth Network Card NGFF NVMe PCI express SSD Port to E key Slot Wifi Adapter"。
可用的适配器和供应商随时间变化很大。可能需要在亚马逊或其他网站上搜索合适的适配器。
HiTech Global HTG-K800
FPGA板
HTG-K800是全尺寸x16 PCIe卡。它可以直接插入Jetson或台式PC的全尺寸PCIe连接器。更多信息,请参见: http://www.hitechglobal.com/Boards/Kintex-UltraScale.htm
本项目支持XCKU-60 FPGA,但通过更改FPGA项目属性并重新综合提供的Vivado项目,很容易更改。
JTAG编程器
您需要一个Xilinx Platform Cable USB II来编程FPGA。更多信息,请参见: https://www.xilinx.com/products/boards-and-kits/hw-usb-ii-g.html
获取FPGA编程软件
Xilinx Vivado Design Suite
此软件必须在x86 Linux PC上运行。
Xilinx Vivado用于编译FPGA比特流,并将比特流编程到FPGA中。免费的"WebPACK版"就足够了。 从Xilinx网站获取此软件。
PicoEVB项目需要Vivado 2018.3。
HTG-K800项目需要Vivado 2018.1。
较新版本的Vivado应该能够导入这些项目。
xvcd
此软件仅适用于PicoEVB板;HTG-K800板不需要。
此软件必须在插入PicoEVB FPGA卡的系统上运行。这可能是x86 Linux PC,也可能是Jetson系统。
请注意,Drive AGX Xavier的M.2插槽不支持USB。因此,无法在连接到此连接器时对FPGA进行编程。可以在Linux PC或Jetson系统上对PicoEVB板进行编程,然后在编程完成后连接到Drive AGX Xavier。
Vivado依赖一个名为xvcd(Xilinx Virtual Cable Daemon)的软件与PicoEVB板通信以进行编程。从github.com获取。执行以下命令下载并编译软件:
sudo apt update
sudo apt install build-essential libftdi-dev
git clone https://github.com/RHSResearchLLC/xvcd.git
cd xvcd/
cd linux/src
make
生成比特流
在以下文本中,fpga-*/
指的是FPGA项目子目录。对于PicoEVB,是fpga-picoevb/
,对于HTG-K800,是fpga-htg-k800/
。
本项目提供了预编译的比特流;fpga-*/*.mcs.bz2
。无需重新生成比特流。但是,如果您希望这样做,请按照以下步骤操作:
- 打开shell提示符,并
cd
到本项目中的fpga-*/
目录。 - 执行
./git-to-project.sh
以生成Vivado项目文件。如果vivado
可执行文件不在您的$PATH
中或预期的安装位置,您可能需要调整此脚本中的vivado
变量。 - 执行
./synthesize-fpga.sh
以综合和实现FPGA。这将生成FPGA比特流。或者,您可以通过使用Vivado GUI打开fpga-*/vivado-project/vivado-project.xpr
并请求它执行比特流生成来执行此步骤。无论哪种方式,此过程将需要5-60分钟,具体取决于PC的速度以及您正在构建的FPGA项目。 - 执行
./generate-cfgmem.sh
以生成配置存储器映像。
如果您对Vivado项目或其包含或使用的任何文件或IP块进行了修改,并希望将这些更改提交到源代码管理中,请执行./project-to-git.sh
以重新生成已检入的文件git-to-project.tcl
和git-to-ips.tcl
。
编程FPGA
RHS Research PicoEVB
编程FPGA需要在x86 Linux PC上安装Vivado,并在包含PicoEVB板的系统上运行xvcd。
如果您在Jetson上运行xvcd,您必须允许从x86 Linux PC上的Vivado到Jetson上运行的xvcd的网络连接。最简单的方法是使用ssh
的端口转发功能;在x86 Linux PC上执行:
ssh -L 2542:127.0.0.1:2542 ip_address_of_jetson
要运行xvcd,在包含FPGA卡的系统上执行:
sudo ./xvcd -P 0x6015
在您的x86 Linux PC上,打开shell提示符,cd
到本项目中的fpga-*/
目录,并执行:
program-fpga.sh
将Vivado的编程工具连接到FPGA的过程可能不太可靠。如果连接尝试失败,脚本退出而未编程FPGA,您需要再次执行该命令。
编程过程将需要20到40分钟。编程过程在大部分操作期间不会生成任何输出,因此可能看起来已经挂起,但实际上正在运行。
HiTech Global HTG-K800
编程FPGA需要在连接了Xilinx平台电缆的x86 Linux PC上安装Vivado。
在您的x86 Linux PC上,打开shell提示符,cd
到本项目中的fpga-*/
目录,并执行:
program-fpga.sh
编程过程将需要几分钟。编程过程在大部分操作期间不会生成任何输出,因此可能看起来已经挂起,但实际上正在运行。
Linux内核驱动程序
注意:
对于内核5.9+版本,请使用rel-36+分支。
在Jetson/Drive AGX Xavier上构建,在Jetson/Drive AGX Xavier上运行
要构建Linux内核驱动程序,请执行:
sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/kernel-module/
./build-for-jetson-drive-igpu-native.sh
这将生成picoevb-rdma.ko
。
在x86 Linux PC上构建,在Jetson/Drive AGX Xavier上运行
Linux内核驱动程序也可以在x86 Linux PC上构建(交叉编译)。首先,您需要从L4T获取"Linux头文件"或"内核外部模块构建树"文件的副本;这些可以在Jetson/Drive AGX Xavier的/usr/src/
中找到,或从L4T/Drive下载网站获取。
要在x86 Linux PC上构建Linux内核驱动程序,请执行:
sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/kernel-module/
# 调整KDIR值以匹配内核头文件副本中的确切路径
KDIR=/path/to/linux-headers-4.9.140-tegra-linux_x86_64/kernel-4.9/ ./build-for-jetson-drive-igpu-on-pc.sh
这将生成picoevb-rdma.ko
。必须将此文件复制到Jetson/Drive AGX Xavier。
在x86 Linux PC上构建,在该PC上运行
sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/kernel-module/
./build-for-pc-native.sh
这将生成 picoevb-rdma.ko
。
加载模块
要加载内核模块,请执行:
sudo insmod ./picoevb-rdma.ko
模块加载后,执行 lspci -v
应该显示该模块正被用作 FPGA 板的内核驱动:
$ lspci -v
...
0003:01:00.0 Memory controller: NVIDIA Corporation Device 0001
Subsystem: NVIDIA Corporation Device 0001
Flags: bus master, fast devsel, latency 0, IRQ 36
Memory at 34210000 (32-bit, non-prefetchable) [size=4K]
Memory at 34200000 (32-bit, non-prefetchable) [size=64K]
Capabilities: <access denied>
Kernel driver in use: picoevb-rdma
用户空间应用程序
在 Jetson/Drive AGX Xavier 上构建,在 Jetson/Drive AGX Xavier 上运行
客户端应用程序最好在 Jetson/Drive AGX Xavier 本身上构建。确保已安装 CUDA 开发工具,然后执行:
sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/client-applications/
./build-for-jetson-drive-igpu-native.sh
在 x86 Linux PC 上构建,在 Jetson/Drive AGX Xavier 上运行
在 x86 Linux PC 上构建(交叉编译)客户端应用程序目前只有部分支持;makefile 尚不支持交叉编译 CUDA 测试应用程序。但是,其他应用程序可以通过执行以下命令进行交叉编译:
sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/client-applications/
./build-for-jetson-drive-igpu-on-pc.sh
你可能需要调整脚本 ./build-for-jetson-drive-igpu-on-pc.sh
中 CROSS_COMPILE
变量的值,以匹配你的 x86 Linux PC 的配置。
在 x86 Linux PC 上构建,在该 PC 上运行
确保已安装 CUDA 开发工具,然后执行:
sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/client-applications/
./build-for-pc-native.sh
运行测试
数据访问测试
提供了两个 PCIe 数据访问测试:rdma-malloc
和 rdma-cuda
。两个测试在结构上相同,但使用不同的 API 分配内存;前者使用 malloc()
,后者通过 cudaHostAlloc()
(Jetson/Drive AGX Xavier)或 cudaMalloc()
(PC)。
两个测试的进行过程如下:
- 分配源内存和目标内存。
- 在 CUDA 情况下,通过调用
cuPointerSetAttribute(CU_POINTER_ATTRIBUTE_SYNC_MEMOPS)
并固定内存来准备 RDMA。 - 用已知模式填充源表面。
- 用不同的值填充目标表面。
- 使用 FPGA 将源复制到目标表面。
- 验证数据是否正确复制。
要运行测试,请执行:
sudo ./rdma-malloc
sudo ./rdma-cuda
你可以通过为内核驱动的设备文件 /dev/picoevb
设置适当的权限来避免使用 sudo
。
在内核驱动内部,复制操作将表面分成 64KiB 的块(或根据内存对齐情况更小),对于每个块,首先将该块的数据从源表面复制到 FPGA 的内部内存,然后将数据从 FPGA 的内部内存复制到目标表面。这同时演示了对 CUDA GPU 内存的 PCIe 读取和写入访问。将数据分成块的要求是由于 PicoEVB 板 FPGA 的内部内存大小限制,在生产设备中可能不适用。
还提供了单向复制功能的单独测试应用程序,用于报告传输性能。有两个版本的测试;一个使用主机上的 malloc()
分配内存,另一个使用通过 CUDA 分配的内存。要运行这些测试,请执行:
sudo ./rdma-malloc-h2c-perf
sudo ./rdma-malloc-c2h-perf
sudo ./rdma-cuda-h2c-perf
sudo ./rdma-cuda-c2h-perf
set-leds
此测试设置 PicoEVB 上三个 LED 的值。它接受一个命令行参数,表示要在这些 LED 上显示的二进制值。硬件会反转这个值,所以参数值 0
会打开所有 LED,参数值 7
会关闭所有 LED。例如:
./set-leds 2
./set-leds 5