Project Icon

nccl-rdma-sharp-plugins

NCCL插件,支持RDMA和SHARP的GPU通信优化工具

nccl-rdma-sharp-plugins是NVIDIA NCCL库的扩展插件,为GPU通信提供RDMA和SHARP支持。该项目依赖MOFED、CUDA等组件,使用GNU autotools进行构建。通过优化GPU间数据交换,该插件可提升分布式深度学习等场景的通信效率。项目开源,适合需要高性能GPU通信的开发者和研究人员使用。

dlpack - 促进深度学习框架间张量共享与协作
DLPackGithub内存共享开源项目张量结构深度学习框架
DLPack是一种开放的内存张量结构,用于深度学习框架间的张量共享。它简化了框架间的运算符共享,便于封装供应商级运算符实现,支持快速切换后端实现。作为跨框架复用的桥梁,DLPack不直接实现张量和操作,而是促进深度学习生态系统的协作,为用户提供更多运算符选择和框架混合使用的可能性。
ZLUDA - 英特尔GPU上的高性能CUDA兼容层
CUDAGithubIntel GPUZLUDA开源项目性能替代方案
ZLUDA项目为英特尔GPU提供CUDA兼容层,使未修改的CUDA应用能在英特尔显卡上运行。它支持英特尔UHD集成显卡和即将推出的Xe系列GPU。作为概念验证,ZLUDA目前主要适用于GeekBench等程序,性能与OpenCL代码相近。该项目无需代码移植即可使现有应用在英特尔GPU上运行,但目前仍处于早期开发阶段。
NeMo-Framework-Launcher - 云原生工具助力大规模AI模型高效训练
AI模型训练GithubNeMo Framework云原生工具分布式计算大规模语言模型开源项目
NeMo-Framework-Launcher是一个用于启动NeMo Framework训练作业的云原生工具。它专注于生成式AI模型的基础模型训练,集成了模型并行、分布式优化和混合精度训练等技术。该工具简化了在云端或本地集群上的训练流程,支持集群配置、数据处理、模型训练、微调和评估。适用于GPT、BERT和T5等模型,可扩展至数千GPU,支持大规模语言模型训练。
bridge-remix - 跨平台桥接工具 为32位经典游戏提供64位光线追踪渲染
DirectX9GithubNVIDIA RTX Remix开源项目桥接组件游戏渲染跨进程通信
NVIDIA RTX Remix Bridge是一个开源的跨平台桥接工具,用于将64位高质量光线追踪渲染技术引入32位经典游戏。该项目包括客户端和服务器组件,实现32位游戏与64位Remix Runtime dll的交互。开发者可使用Visual Studio和Meson构建项目,并通过拖放或启动器方式应用于游戏。RTX Remix Bridge支持多种游戏,包括经典和零售游戏,为游戏图形升级提供了便捷解决方案。
naturalcc - 弥合编程与自然语言的序列建模工具包
GithubNaturalCC代码理解开源项目机器学习自然语言处理软件工程
NaturalCC是一个开源的序列建模工具包,旨在缩小编程语言与自然语言之间的差距。它支持代码生成、补全、摘要等多项软件工程任务。该工具包采用模块化设计,集成了多个大型代码模型,支持多GPU训练和高效推理。NaturalCC还提供了预处理的基准数据集和评估工具,为代码智能研究与开发提供了全面的解决方案。
nncase - 神经网络编译器 优化AI加速器性能
AI加速器GithubK230nncase开源项目模型量化神经网络编译器
nncase是专为AI加速器设计的神经网络编译器,支持多输入输出和多分支结构。它采用静态内存分配,提供算子融合优化,支持浮点和uint8量化推理,以及基于校准数据集的后量化。nncase支持零拷贝加载平面模型,适用于K230、K510和K210等芯片。它提供丰富的操作符支持、使用指南和示例,以及完整的生态系统资源,有助于高效部署AI模型。
openvino - 提升深度学习模型部署与优化的开源工具包
AI应用GithubOpenVINO开源项目性能提升模型部署深度学习模型优化热门
OpenVINO™是一款开源软件工具包,用于优化和部署深度学习模型。它支持多种框架如TensorFlow、PyTorch等,能在从边缘到云的多种平台上高效部署。此工具包还包含大量社区资源和教程,助力提升计算机视觉、自然语言处理等领域的模型性能。
rknn-cpp-Multithreading - RK3588/RK3588S多线程NPU推理加速框架
GithubNPURK3588RKNNYOLOv5多线程开源项目
rknn-cpp-Multithreading项目提供了一个针对RK3588/RK3588S的多线程NPU推理加速框架。通过线程池异步操作rknn模型,显著提高了NPU使用率和推理速度。项目优化了YOLOv5s模型,采用ReLU激活函数,进一步提升了性能。提供了详细的使用说明和不同线程数下的性能测试结果,便于用户参考和应用。
fastllm - 纯C++实现的跨平台大语言模型推理库
GPU加速Githubc++实现fastllm多平台大模型推理开源项目
fastllm是一个纯C++实现的大语言模型推理库,无第三方依赖,支持多平台部署。这个开源项目具有快速的推理速度,支持多种模型格式,可实现多卡部署和流式输出。fastllm兼容ChatGLM、Qwen、LLAMA等多种模型,提供Python接口和自定义模型结构功能。该项目适用于需要高效、灵活部署大语言模型的场景。
MIVisionX - AMD开源计算机视觉和机器智能开发工具包
AMDGithubMIVisionXOpenVX开源项目机器学习计算机视觉
MIVisionX是一套开源的计算机视觉和机器智能开发工具包。它包含优化的OpenVX实现、神经网络模型编译器和多种实用工具。支持ONNX和NNEF格式,可在嵌入式设备到高性能服务器等多种硬件平台上部署计算机视觉和机器学习应用。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号