Logo
Project Icon

nvshare

多进程安全共享GPU的开源解决方案

nvshareGPU共享Kubernetes内存管理CUDAGithub开源项目

nvshare是一个开源的GPU共享机制,支持多个进程或Kubernetes容器在同一GPU上安全并发运行。它利用统一内存API和系统RAM作为交换空间,使每个进程都能访问全部GPU内存。通过nvshare-scheduler管理GPU访问时间,有效避免内存抖动。这种方案适用于GPU使用呈突发性的场景,如交互式开发环境中的Jupyter notebooks等。

访问官网访问官网GithubGithub
介绍相关项目
Jupyter - 开源算法学习与交互式实践环境
GithubJupyter开源项目数据科学算法贡献指南
Jupyter项目是一个开源的算法学习平台，提供多种算法实现和交互式演示。用户可在线运行和编辑算法，体验便捷的开发环境。该项目欢迎贡献新算法，包括源代码、数学解释和演示。平台支持数据集使用，并设有贡献指南和行为准则，致力于构建协作学习社区。
notebooks-contrib - RAPIDS社区贡献的GPU加速数据科学笔记本库
GPU加速GithubNVIDIARAPIDS开源开源项目数据科学
notebooks-contrib是RAPIDS社区维护的GPU加速数据科学笔记本库。它涵盖从入门到高级的多个主题，包括多GPU处理、深度学习和各领域应用。该项目提供教程、工作流示例和实用指南，同时鼓励社区贡献。用户可以找到丰富的学习资源，如官方文档、视频教程和部署指南，以便更好地利用RAPIDS进行GPU加速数据分析。
nvidia-docker - 已过渡至NVIDIA Container Toolkit的GPU容器化工具
DockerGPU虚拟化GithubNVIDIA Container Toolkit容器技术开源项目弃用公告
nvidia-docker是一个用于在Docker容器中使用NVIDIA GPU的工具，现已被NVIDIA Container Toolkit取代。尽管该项目已被弃用，其功能已整合到NVIDIA Container Toolkit中。用户可通过NVIDIA Container Toolkit配置Docker使用NVIDIA Container Runtime，实现GPU容器化。NVIDIA Container Toolkit提供了更全面的GPU容器管理解决方案，成为nvidia-docker的后续发展。
backend.ai - 灵活高效的容器化计算集群平台 支持多种框架与加速器
APIBackend.AIGithub多租户容器化计算平台开源项目计算资源管理
Backend.AI是一个基于容器的计算集群平台，支持多种计算和机器学习框架及编程语言。平台提供CUDA GPU、ROCm GPU、TPU和IPU等异构加速器支持，可按需分配和隔离计算资源，适合多租户环境。通过REST、GraphQL和WebSocket API暴露功能，为用户提供灵活高效的计算环境。此平台集成了先进的资源调度功能，可实现按需或批量分配计算资源。Backend.AI采用容器技术实现资源隔离，确保多租户环境的安全性和效率。其开放的API架构便于与现有系统集成，为科研、教育和企业用户提供了强大而灵活的计算解决方案。
CUDA-GEMM-Optimization - CUDA实现的GEMM优化与性能分析
CUDAGEMMGPU优化Github开源项目性能分析矩阵乘法
该项目展示了一系列针对通用矩阵乘法(GEMM)的CUDA内核优化实现。内容涵盖从基础到高度优化的多个GEMM内核版本,并提供了详细的性能分析。这些内核适用于任意矩阵大小,并针对NVIDIA GeForce RTX 3090 GPU进行了参数调优。项目包含Docker环境配置说明、编译运行指南,以及FP32和FP16 GEMM的性能对比,直观展示了不同优化技术对性能的影响。
stable-diffusion-docker - 多功能 GPU 加速的 Stable Diffusion Docker 容器
DockerGPUGithubHuggingfaceStable Diffusion开源项目模型
Stable Diffusion Docker 容器在支持 CUDA 的 GPU 上运行，通过官方模型实现高质量图像生成。支持从文本生成图像、图像修改、深度引导和图像修复等功能，适用多种应用场景。最低要求 8GB VRAM 的 GPU，并提供设备选择和内存优化选项。详细使用指南和示例帮助用户快速入门。
koila - 通过一行代码解决CUDA内存不足错误
CUDA错误GithubKoilaPyTorch内存管理开源项目梯度累加
Koila是一个开源项目，通过一行代码解决CUDA内存不足错误。它包含自动累积梯度、惰性求值和批次大小优化功能，使GPU计算更高效。作为轻量级PyTorch包装器，Koila自动计算GPU的剩余内存，并选用适当的批次大小，从而保持与PyTorch的兼容性。
ROCm - 开源GPU计算软件栈推动高性能与科学计算
GPU计算GithubHIPROCm开源软件开源项目机器学习
AMD ROCm是一个开源GPU计算软件栈，提供完整的驱动、开发工具和API生态系统。它支持从底层内核到终端应用的全方位GPU编程，专门针对高性能计算、人工智能和科学计算领域优化。ROCm支持多种编程模型，并与主流机器学习框架深度集成。通过HIP技术，ROCm实现了卓越的跨平台可移植性，使开发者能够在各类GPU平台上灵活部署代码，适用范围涵盖从普通游戏GPU到大规模超算集群。
instant-ngp - 高效训练和渲染神经图形基元的开源框架
3D重建GithubNeRF实时渲染开源项目机器学习神经图形基元
instant-ngp是一个基于CUDA的开源框架,用于高效训练和渲染神经图形基元。该项目支持NeRF、SDF、神经图像和神经体积等多种基元,通过多分辨率哈希编码和tiny-cuda-nn实现快速训练。instant-ngp提供交互式GUI、VR模式和相机路径编辑等功能,便于探索和创建各类神经图形。此外,其Python接口支持自动化实验和功能扩展。
NRI - 低开销跨平台渲染接口 支持多种图形API
GithubNRINVIDIA RENDER INTERFACE图形API开源项目渲染接口跨平台
NRI是一个通用的低级渲染接口，支持D3D11、D3D12和Vulkan。它简化了现代图形API的使用，提供低开销和跨平台支持。NRI具有C++和C接口，支持光线追踪和网格着色器等先进功能。该接口已应用于多个NVIDIA GameWorks项目，为开发者提供灵活高效的渲染解决方案。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号