Logo
Project Icon

nvshare

多进程安全共享GPU的开源解决方案

nvshareGPU共享Kubernetes内存管理CUDAGithub开源项目

nvshare是一个开源的GPU共享机制,支持多个进程或Kubernetes容器在同一GPU上安全并发运行。它利用统一内存API和系统RAM作为交换空间,使每个进程都能访问全部GPU内存。通过nvshare-scheduler管理GPU访问时间,有效避免内存抖动。这种方案适用于GPU使用呈突发性的场景,如交互式开发环境中的Jupyter notebooks等。

访问官网访问官网GithubGithub
介绍相关项目
open-gpu-kernel-modules - NVIDIA驱动程序fork版实现RTX 4090 GPU间直接通信
GPUGithubLinux驱动NVIDIAP2P支持PCIe开源项目
这个项目是NVIDIA驱动程序的一个分支，为RTX 4090显卡添加了点对点(P2P)通信支持。通过直接利用PCIe总线进行GPU间数据传输，该方案绕过了传统的MAILBOXP2P接口。项目成功实现了P2P功能，并与NCCL兼容，可显著提高多GPU系统性能。这种创新方法遵循PCIe规范，有望被纳入上游驱动程序，为NVIDIA GPU用户提供更高效的计算能力。
nos - Kubernetes上的AI工作负载优化模块
AI工作负载GPUGithubKubernetes动态GPU分区开源项目资源配额管理
nos是一个开源模块，专门优化Kubernetes上的AI工作负载运行。它通过动态GPU分区和弹性资源配额管理，提高GPU利用率，降低基础设施成本，并增强工作负载性能。该模块支持GPU资源的精细化分配，提高资源利用效率，并允许命名空间之间灵活借用资源配额，最大化提升集群运行能力。
docker-nvidia-glx-desktop - KDE Plasma容器化桌面环境支持NVIDIA GPU远程访问
DockerGithubKDE PlasmaKubernetesNVIDIAWebRTC开源项目
这是一个基于KDE Plasma的容器化桌面环境项目，为Kubernetes优化设计。支持通过NVIDIA GPU实现OpenGL、Vulkan和Wine/Proton功能，利用WebRTC和HTML5技术提供远程云/HPC图形或游戏流媒体服务。采用独立X.Org X11服务器，无需额外主机配置。提供Selkies-GStreamer和KasmVNC两种Web界面，满足不同远程访问需求。
nccl - 优化GPU间通信的高性能库
GPU通信GithubNCCLNVIDIA并行计算开源项目深度学习
NCCL是NVIDIA开发的开源GPU通信库，为深度学习和高性能计算优化了全归约、广播等通信模式。它在PCIe、NVLink等平台上实现高带宽，支持单节点和多节点GPU应用。NCCL可用于任意数量的GPU，适配单进程和多进程（如MPI）环境，为AI和科学计算提供高效的通信解决方案。该项目提供简易的构建安装方法和灵活的编译选项，方便开发者根据需求优化性能。
nvitop - NVIDIA GPU资源实时监控与管理工具
GPU监控GithubNVIDIAnvitop开源项目资源监控进程管理
nvitop是一款强大的NVIDIA GPU监控工具,通过交互式彩色界面实时显示GPU设备和进程状态。除了资源监视功能,它还提供CUDA设备选择工具和API接口,便于开发者构建自定义监控应用。支持Linux和Windows系统,安装便捷,运行高效,是管理GPU资源的综合解决方案。
docker-nvidia-egl-desktop - 基于KDE Plasma的NVIDIA GPU云桌面容器
DockerGithubKDE Plasma DesktopKubernetesNVIDIA GPUWebRTC开源项目
docker-nvidia-egl-desktop是一个基于KDE Plasma的云桌面容器，为Kubernetes环境优化。项目支持OpenGL EGL/GLX、Vulkan和Wine/Proton，通过WebRTC和HTML5技术为NVIDIA GPU提供远程图形和游戏流媒体功能。容器使用EGL和VirtualGL直接访问GPU，无需X.Org X11服务器和额外主机配置。内置Wine等工具支持运行Windows应用和游戏。用户可选择Selkies-GStreamer WebRTC或KasmVNC WebSocket两种web界面。
NVIDIA - GPU加速计算和AI技术的全球创新者
AIAI工具GPUNVIDIA数据中心深度学习
NVIDIA是GPU加速计算技术的开创者,推动了AI、高性能计算、图形设计等领域的创新。公司提供全面的硬件、软件和云服务解决方案,支持各行业数字化转型。NVIDIA技术广泛应用于游戏、设计、数据中心和边缘计算,助力解决复杂挑战,以AI和数字孪生技术推动产业变革。
nvidia_gpu_exporter - 跨平台Nvidia GPU监控工具，适用于Windows、Linux和MacOS
GithubGo语言Grafana仪表盘nvidia-sminvidia_gpu_exporterprometheus开源项目
nvidia_gpu_exporter是一个开源的Nvidia GPU监控工具，通过nvidia-smi命令收集和导出GPU指标数据，支持Windows、Linux和MacOS系统。无需Docker或Kubernetes环境，适合游戏和非企业使用。支持远程命令执行，并提供与Grafana集成的可视化仪表板，方便实时监控GPU性能。
KubeCube - 多集群Kubernetes管理平台
GithubKubeCubeKubernetes多租户多集群管理容器平台开源项目
KubeCube是开源的多集群Kubernetes管理平台，提供可视化资源管理和多租户功能。它简化应用部署和生命周期管理，集成监控和日志审计。支持多租户隔离、统一认证、热插拔和开放API，助力企业高效构建容器云平台，实现精细化的资源管理和访问控制。
ai-on-gke - 在GKE上构建高效AI/ML工作负载平台
AI/MLGKEGithubJupyterHubKubernetesTerraform开源项目
AI on GKE项目提供在Google Kubernetes Engine上运行AI/ML工作负载的资产。项目包含基础设施编排、分布式计算和数据处理框架集成，支持多团队资源共享。通过Jupyter Hub和Ray集群部署模块，开发者可以快速搭建AI/ML环境。利用GKE功能，实现高效的大规模AI训练和服务部署。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号