Project Icon

nccl-rdma-sharp-plugins

NCCL插件,支持RDMA和SHARP的GPU通信优化工具

nccl-rdma-sharp-plugins是NVIDIA NCCL库的扩展插件,为GPU通信提供RDMA和SHARP支持。该项目依赖MOFED、CUDA等组件,使用GNU autotools进行构建。通过优化GPU间数据交换,该插件可提升分布式深度学习等场景的通信效率。项目开源,适合需要高性能GPU通信的开发者和研究人员使用。

marlin - 专为LLM推理设计的FP16xINT4优化内核
CUDAFP16xINT4GithubMarlinNVIDIA GPU开源项目高效推理
Marlin是一款专为LLM推理设计的FP16xINT4优化内核,可实现接近4倍的速度提升,并支持16-32个token的batchsize。通过高效利用GPU资源,如全局内存、L2缓存、共享内存和张量核心,Marlin克服了现代GPU的FLOP和字节比率挑战。多种优化技术包括异步权重加载和双缓冲共享内存加载,确保性能最大化。该项目适用于CUDA 11.8及以上版本,支持NVIDIA Ampere或Ada架构的GPU,并与torch 2.0.0和numpy兼容。在各种基准测试中,Marlin展示了卓越的性能,尤其在持久计算和大batchsize处理方面表现出色。
torchmd-net - 神经网络势能模型的高效训练与实现框架
GPU加速GithubPyTorchTorchMD-NET分子动力学开源项目神经网络势能
TorchMD-NET是一个先进的神经网络势能(NNP)模型框架,提供高效快速的NNP实现。该框架与ACEMD、OpenMM和TorchMD等GPU加速分子动力学代码集成,并将NNP作为PyTorch模块提供。项目支持等变Transformer、Transformer、图神经网络和TensorNet等多种架构,可通过conda-forge安装或从源代码构建。TorchMD-NET具有灵活的训练配置选项,支持自定义数据集和多节点训练,并提供预训练模型。
algebraic-nnhw - 创新FFIP算法驱动的机器学习硬件加速器
GithubML硬件架构SystemVerilog内积算法开源项目深度神经网络加速器系统架构
项目开发的机器学习硬件加速器架构采用了创新的Free-pipeline Fast Inner Product (FFIP)算法。这种设计只需要传统方法一半的乘法器单元,就能实现相同的性能。该架构适用范围广泛,涵盖全连接、卷积、循环和注意力/transformer等多种机器学习模型层。它可以轻松集成到现有的定点系统阵列ML加速器中,显著提升吞吐量和计算效率。项目不仅提供了完整的RTL实现,还包括配套的编译器和测试环境,为机器学习硬件加速研究领域贡献了有价值的资源。
nvidia-auto-installer-for-fedora-linux - Fedora Linux上简化NVIDIA驱动安装的命令行工具
Fedora LinuxGPUGithubNVIDIA命令行工具开源项目驱动安装
这是一个为Fedora Linux设计的命令行工具,简化了NVIDIA专有驱动程序和相关软件的安装过程。支持多种安装模式,包括驱动程序、CUDA和FFMPEG加速等。适用于Fedora 32及以上版本,并针对Optimus双显卡系统优化。该工具提供了一种安全高效的方法来配置NVIDIA GPU,使整个过程变得更加简单直观。
neural-compressor - 开源深度学习模型压缩工具库
GithubIntel Neural Compressor大语言模型开源项目模型压缩深度学习框架量化
Neural Compressor是一款开源深度学习模型压缩工具库,支持TensorFlow、PyTorch和ONNX Runtime等主流框架。它提供量化、剪枝、知识蒸馏等多种压缩技术,适用于Intel等多种硬件平台。该工具支持大语言模型优化,并与主流云服务和AI生态系统集成。其自动化的精度感知量化策略有助于平衡模型性能和精度。
grpc - 开源高性能RPC框架 简化分布式系统开发
GithubRPC框架gRPC开源开源项目远程过程调用高性能
gRPC是一个开源的高性能远程过程调用(RPC)框架,支持多种编程语言。它实现了客户端和服务器应用程序的透明通信,简化了分布式系统的构建。gRPC具有高效、跨平台、多语言支持等特点,广泛应用于分布式系统和微服务架构。该框架提供丰富的文档和示例,便于开发者快速上手。gRPC的核心库采用C++实现,保证了优异的性能表现。
gpu.cpp - 简化跨平台GPU计算的轻量级库
C++库GPU计算GithubWGSLWebGPU开源项目跨平台
gpu.cpp是一个轻量级C++库,专注于通用原生GPU计算。它利用WebGPU规范作为可移植的低级GPU接口,支持在多种硬件上运行GPU代码。该库提供高效API,实现快速编译和运行周期,并最小化依赖。适用于GPU算法开发、神经网络实现、物理模拟等需要便携GPU计算的项目。gpu.cpp简化了个人设备上的GPU编程,让开发者能专注于算法实现。
instant-ngp - 高效训练和渲染神经图形基元的开源框架
3D重建GithubNeRF实时渲染开源项目机器学习神经图形基元
instant-ngp是一个基于CUDA的开源框架,用于高效训练和渲染神经图形基元。该项目支持NeRF、SDF、神经图像和神经体积等多种基元,通过多分辨率哈希编码和tiny-cuda-nn实现快速训练。instant-ngp提供交互式GUI、VR模式和相机路径编辑等功能,便于探索和创建各类神经图形。此外,其Python接口支持自动化实验和功能扩展。
DiffSharp - 开源张量库 支持可微分编程和机器学习
DiffSharpGithubPyTorch开源项目张量库微分编程机器学习
DiffSharp是一个开源张量库,专为可微分编程而设计。该项目采用F#语言开发,支持嵌套和混合模式微分,提供常用优化器、模型元素和可微概率分布。DiffSharp结合了PyTorch的命名习惯,支持LibTorch CUDA/C++张量和GPU加速,适用于机器学习、概率编程和优化等领域。它兼容Linux、macOS和Windows平台,可在Jupyter和Visual Studio Code中使用交互式笔记本。
FreeRDP - 开源远程桌面协议实现 跨平台高性能解决方案
FreeRDPGithub开源软件开源项目网络协议跨平台远程桌面协议
FreeRDP是Apache许可下的开源远程桌面协议(RDP)实现。该项目提供跨平台、高性能的远程桌面连接功能,支持多种架构和操作系统。FreeRDP注重互操作性,旨在提供灵活的远程计算体验。项目拥有活跃的社区,持续改进代码质量和更新功能。对于寻求可靠远程桌面解决方案的开发者和用户而言,FreeRDP是一个值得考虑的选择。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号