nvshare

nvshare：无内存大小限制的实用GPU共享机制

nvshare是一种GPU共享机制，允许多个进程（或在Kubernetes上运行的容器）安全地同时在同一物理GPU上运行，每个进程都能使用全部GPU内存。

您可以在 https://www.youtube.com/watch?v=9n-5sc5AICY 观看简短的解释和演示。

为实现这一点，它透明地启用GPU页面故障，使用系统RAM作为交换空间。为避免抖动，它使用nvshare-scheduler来管理GPU，并在给定的时间量子（TQ）内（默认持续30秒）为单个进程提供独占的GPU访问权限。

此功能仅依赖于NVIDIA内核驱动程序提供的统一内存API。NVIDIA内核驱动程序的更新不太可能影响此项目的可行性，因为这需要禁用统一内存。

在Kubernetes上处理GPU的事实上的标准方式（Nvidia的设备插件）是以1:1的方式将GPU分配给容器。这对于仅在执行过程中偶尔使用GPU的应用程序（如长期运行的交互式开发作业，例如Jupyter笔记本）来说特别低效。

我写了一篇Medium文章，讨论了Kubernetes上GPU共享的挑战，值得一读。

示例用例

• 在同一GPU上运行2个或更多具有不频繁GPU突发的进程/容器（例如，交互式应用、ML推理）
• 在同一GPU上运行2个或更多非交互式工作负载（例如，ML训练），以最小化它们的总完成时间并减少排队

目录

• 功能特性
• 核心思想
• 支持的GPU
• 概述
  • nvshare组件
  • 关于nvshare-scheduler的一些细节
  • 单个进程的内存过度订阅
  • 调度器的时间量子（TQ）
• 进一步阅读
• 在本地系统上部署
  • 安装（本地）
  • 使用（本地）
  • 测试（本地）
• 在Kubernetes上部署
  • 安装（Kubernetes）
  • 使用（Kubernetes）
    • 使用nvshare.com/gpu设备
    • （可选）使用nvsharectl配置调度器
  • 测试（Kubernetes）
  • 卸载（Kubernetes）
• 本地使用的构建
• 构建Docker镜像
• 未来改进
• 反馈
• 引用本工作

nvshare基于我的学位论文"交互式机器学习开发中图形处理单元高效利用的动态内存管理"，该论文于2021年7月发表，可在http://dx.doi.org/10.26240/heal.ntua.21988 获取。

论文：

标题和第一部分是希腊语，但第二部分是完整的英文论文。你也可以在此仓库根目录下的grgalex-thesis.pdf中找到它。

演示：

查看关于nvshare的演示：

• Google Slides
• ODP格式
• PDF格式

在本地系统上部署

安装(本地)

为了兼容性考虑，最好在安装前为你的系统从源代码构建nvshare。

1. (可选)从Releases标签下载最新发布的tarball，或通过命令行：

   wget https://github.com/grgalex/nvshare/releases/download/v0.1.1/nvshare-v0.1.1.tar.gz -O nvshare.tar.gz
   

2. 解压tarball：

   tar -xzvf nvshare.tar.gz
   

3. 安装libnvshare.so并更新动态链接器的缓存：

   sudo mv libnvshare.so /usr/local/lib/libnvshare.so && \
   sudo ldconfig /usr/local/lib
   

4. 安装nvshare-scheduler：

   nvshare使用UNIX套接字进行通信，并将它们存储在/var/run/nvshare下，所以必须以root身份运行。

   sudo mv nvshare-scheduler /usr/local/sbin/nvshare-scheduler
   

5. 安装nvsharectl：

   sudo mv nvsharectl /usr/local/bin/nvsharectl
   

6. 删除tarball：

   rm nvshare.tar.gz
   

使用(本地)

1. 启动nvshare-scheduler：

   必须以root身份运行，所以我们必须使用sudo。

   nvshare-scheduler可执行文件将：

   • 创建/var/run/nvshare目录
   • 创建/var/run/nvshare/scheduler.sock UNIX套接字
   • 监听来自nvshare客户端的请求。

   选项A：以正常日志启动nvshare-scheduler：

   sudo bash -c 'nvshare-scheduler'
   

   选项B：以调试日志启动nvshare-scheduler：

   sudo bash -c 'NVSHARE_DEBUG=1 nvshare-scheduler'
   

   [故障排除]：如果你收到以下错误：

   nvshare-scheduler: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.34' not found (required by nvshare-scheduler)
   

   那么你必须为你的系统从源代码构建nvshare并重新安装。

2. 使用LD_PRELOAD启动你的应用程序：

   我们使用LD_PRELOAD将自定义nvshare逻辑注入到CUDA应用程序中。libnvshare自动检测它是否在CUDA应用程序中运行，只有在这种情况下才与nvshare-scheduler通信。

   选项A：导出LD_PRELOAD变量：

export LD_PRELOAD=libnvshare.so

然后您可以像平常一样启动您的CUDA应用程序。

选项B：为单个程序设置LD_PRELOAD环境变量：

在程序前加上LD_PRELOAD指令，然后像平常一样启动您的程序。

LD_PRELOAD=libnvshare.so <您的程序> <您的参数>

选项C：在/etc/ld.so.preload中为libnvshare.so添加一个条目：

在某些情况下，例如使用Jupyter Notebook服务器时，可能很难为其启动后生成的Notebook设置环境变量。在这些情况下，您可以选择使用ld.so.preload文件。

sudo bash -c 'echo -ne "\n/usr/local/lib/libnvshare.so" >> /etc/ld.so.preload'

3. (可选) 使用nvsharectl配置nvshare-scheduler：

默认情况下，nvshare-scheduler是开启的。这意味着在TQ秒内，只有一个进程在GPU上运行计算。

用法: nvsharectl [选项]

一个用于配置nvshare调度器的命令行工具。

-T, --set-tq=n               将调度器的时间量子设置为TQ秒。仅接受正整数。
-S, --anti-thrash=s          设置调度器的所需状态。仅接受"on"或"off"值。
-h, --help                   显示此帮助信息

4. 您可以通过设置NVSHARE_DEBUG=1环境变量为任何启用nvshare的应用程序启用调试日志。

1. 安装docker（https://docs.docker.com/engine/install/）

2. 按照使用（本地）部分的说明启动nvshare-scheduler。

3. 在终端窗口中，持续监视GPU状态：

   watch nvidia-smi
   

4. 从可用的Docker镜像中选择您的测试工作负载：

   • 使用10 GB GPU内存的变体：
     • docker.io/grgalex/nvshare:tf-matmul-v0.1-f654c296
     • docker.io/grgalex/nvshare:pytorch-add-v0.1-f654c296
   • 使用2 GB GPU内存的变体：
     • docker.io/grgalex/nvshare:tf-matmul-small-v0.1-f654c296
     • docker.io/grgalex/nvshare:pytorch-add-small-v0.1-f654c296

   export WORKLOAD_IMAGE=docker.io/grgalex/nvshare:tf-matmul-v0.1-f654c296
   

5. 在新的终端窗口中，启动运行测试工作负载的容器：

   docker run -it --gpus all \
   --entrypoint=/usr/bin/env \
   -v /usr/local/lib/libnvshare.so:/libnvshare.so \
   -v /var/run/nvshare:/var/run/nvshare \
   ${WORKLOAD_IMAGE?} \
   bash -c "LD_PRELOAD=/libnvshare.so python /tf-matmul.py"
   

6. 等待第一个容器开始在GPU上计算，然后：

   • 查看nvshare-scheduler日志，观察神奇的过程。
   • 查看nvidia-smi输出，根据https://forums.developer.nvidia.com/t/unified-memory-nvidia-smi-memory-usage-interpretation/177372解释内存使用情况。

7. 在另一个终端窗口中，从您在步骤(4)中选择的相同镜像启动另一个容器：

   export WORKLOAD_IMAGE=docker.io/grgalex/nvshare:tf-matmul-v0.1-f654c296
   

   docker run -it --gpus all \
   --entrypoint=/usr/bin/env \
   -v /usr/local/lib/libnvshare.so:/libnvshare.so \
   -v /var/run/nvshare:/var/run/nvshare \
   ${WORKLOAD_IMAGE?} \
   bash -c "LD_PRELOAD=/libnvshare.so python /tf-matmul.py"
   

8. 观察以下情况：

   • 在给定时间点，只有两个应用程序中的一个在取得进展

   • 与nvshare-scheduler日志进行交叉检查，查找REQ_LOCK、LOCK_OK、DROP_LOCK消息

   • 与GPU空闲时相比，GPU功率较高

   • 使用nvsharectl关闭调度器的反抖动模式

     • nvsharectl -S off

   • 现在两个应用程序同时自由运行，发生抖动！

   根据您的GPU内存容量，工作集可能仍然适合GPU内存，不会发生抖动。运行更多容器以引起抖动。

   • 注意GPU的吞吐量，尤其是功率下降，因为计算单元处于空闲状态，页面错误占主导地位。
   • 使用nvsharectl重新打开反抖动模式
     • nvsharectl -S on
   • 抖动很快停止，应用程序开始再次取得进展。GPU功率也随之上升。

9. (可选) 重新运行，在LD_PRELOAD之前添加NVSHARE_DEBUG=1以查看调试日志，其中包括其他有趣的内容，显示了早期释放机制的运作。

• NVIDIA的设备插件（https://github.com/NVIDIA/k8s-device-plugin）

部署nvshare Kubernetes组件：

1. nvshare-system命名空间
2. nvshare-system资源配额
3. nvshare-device-plugin DaemonSet
4. nvshare-scheduler DaemonSet

kubectl apply -f https://raw.githubusercontent.com/grgalex/nvshare/main/kubernetes/manifests/nvshare-system.yaml && \
kubectl apply -f https://raw.githubusercontent.com/grgalex/nvshare/main/kubernetes/manifests/nvshare-system-quotas.yaml && \
kubectl apply -f https://raw.githubusercontent.com/grgalex/nvshare/main/kubernetes/manifests/device-plugin.yaml && \
kubectl apply -f https://raw.githubusercontent.com/grgalex/nvshare/main/kubernetes/manifests/scheduler.yaml

设备插件在Kubernetes集群中的每个启用GPU的节点上运行（目前在非GPU节点上会失败，但这没关系），并管理每个节点上的单个GPU。它消耗一个nvidia.com/gpu设备，并将其作为多个（默认为10个）nvshare.com/gpu设备进行广告。这意味着最多10个容器可以在同一物理GPU上同时运行。

你可以通过设置NVSHARE_DEBUG: "1"环境变量为任何启用nvshare的应用程序选择性地启用调试日志。你可以按照https://kubernetes.io/docs/tasks/inject-data-application/define-environment-variable-container/的说明来执行此操作。

要做到这一点，请在容器规格中添加以下行：

resources:
  limits:
    nvshare.com/gpu: 1

kubectl delete -f https://raw.githubusercontent.com/grgalex/nvshare/main/kubernetes/manifests/scheduler.yaml
kubectl delete -f https://raw.githubusercontent.com/grgalex/nvshare/main/kubernetes/manifests/device-plugin.yaml && \
kubectl delete -f https://raw.githubusercontent.com/grgalex/nvshare/main/kubernetes/manifests/nvshare-system-quotas.yaml && \
kubectl delete -f https://raw.githubusercontent.com/grgalex/nvshare/main/kubernetes/manifests/nvshare-system.yaml && \

1. 安装要求：

   sudo apt update && \
   sudo apt install gcc make libc6-dev
   

2. 克隆此仓库：

   git clone https://github.com/grgalex/nvshare.git
   

3. 进入源代码目录并构建nvshare：

   cd nvshare/src/ && make
   

4. 使用构建的nvshare-XXXX.tar.gz来本地部署nvshare，从步骤（2）开始，使用新的tarball名称。

5. 删除构建产物：

   make clean
   

1. 安装docker（https://docs.docker.com/engine/install/）

2. 克隆此仓库：

   git clone https://github.com/grgalex/nvshare.git
   

3. 进入源代码目录：

   cd nvshare/
   

4. （可选）编辑Makefile，更改镜像仓库。

5. 构建核心Docker镜像：

   make build
   

6. （可选）推送核心Docker镜像，并更新kubernetes/manifests下的Kubernetes清单以使用新镜像。

   make push
   

7. 构建测试工作负载Docker镜像：

   cd tests/ && make build
   

8. （可选）推送测试工作负载Docker镜像，并更新tests/kubernetes/manifests下的Kubernetes清单以使用新镜像。

   make push
   

Georgios Alexopoulos and Dimitris Mitropoulos. 2024. nvshare: 实用的
GPU共享方案，无内存大小限制。发表于2024年IEEE/ACM第46届
国际软件工程会议：配套论文集
(ICSE-Companion '24)，2024年4月14日至20日，葡萄牙里斯本。ACM，纽约，
纽约，美国，共5页。https://doi.org/10.1145/3639478.3640034