jax-triton

JAX与Triton集成实现GPU计算加速

JAX Triton jax-triton CUDA GPU加速 Github 开源项目

jax-triton项目实现了JAX和Triton的集成，让开发者能在JAX中使用Triton的GPU计算功能。通过triton_call函数，可在JAX编译函数中应用Triton内核，提高计算密集型任务效率。项目提供文档和示例，适合机器学习和科学计算领域的GPU计算优化需求。

pytorch - 能GPU加速的Python深度学习平台

GPU加速PyTorch深度学习神经网络

PyTorch是一个开源的提供强大GPU加速的张量计算和深度神经网络平台，基于动态autograd系统设计。它不仅支持广泛的科学计算需求，易于使用和扩展，还可以与Python的主流科学包如NumPy、SciPy无缝集成，是进行深度学习和AI研究的理想工具。

penzai - 用于构建、编辑和可视化神经网络的 JAX 研究工具包

GithubJAXPenzai开源项目模型可视化深度学习神经网络

Penzai是一个基于JAX的库，专为通过函数式pytree数据结构编写模型而设计，并提供丰富的工具用于可视化、修改和分析。适用于反向工程、模型组件剥离、内部激活检查、模型手术和调试等领域。Penzai包括Treescope交互式Python打印工具、JAX树和数组操作工具、声明式神经网络库及常见Transformer架构的模块化实现。该库简化了模型处理过程，为研究神经网络的内部机制与训练动态提供了支持。

TensorRT - 优化深度学习推理的开源平台

CUDADockerGithubNVIDIAONNXTensorRT开源项目

NVIDIA TensorRT 开源软件提供插件和 ONNX 解析器的源码，展示 TensorRT 平台功能的示例应用。这些组件是 TensorRT GA 版本的一部分，并包含扩展和修复。用户可以轻松安装 TensorRT Python 包或根据构建指南编译。企业用户可使用 NVIDIA AI Enterprise 套件，并可加入 TensorRT 社区获取最新产品更新和最佳实践。

intel-extension-for-pytorch - 通过最新优化提升Intel硬件的深度学习性能

AIGPUsGithubIntel® Extension for PyTorchLLMs优化开源项目

Intel® Extension for PyTorch* 提供优化功能，利用Intel® AVX-512 VNNI、AMX以及XMX AI引擎，提升Intel CPU和GPU上的深度学习性能。该扩展优化了大规模语言模型（LLMs），如LLAMA、GPT-J、GPT-NEOX等，支持多种量化方法（如FP32、BF16、INT8、INT4）。此外，自2.3.0版本起，还引入了模块级优化API，为定制模型优化提供了更多选项。

accelerated-scan - GPU加速的并行扫描算法高效解决一阶递归

Accelerated ScanCUDAGPUGithubTriton并行计算开源项目

accelerated-scan是一个Python包，实现了GPU上高效的一阶并行关联扫描。该项目采用分块处理算法和GPU通信原语，能快速处理状态空间模型和线性RNN中的一阶递归问题。支持前向和后向扫描，提供C++ CUDA内核和Triton实现，在不同序列长度下均有出色性能表现。适用于深度学习和信号处理等需要高性能递归计算的领域。

flash-linear-attention - Triton实现的高效线性注意力模型库

Flash Linear AttentionGithubTriton实现开源项目深度学习线性注意力模型自然语言处理

Flash Linear Attention是一个基于Triton实现的线性注意力模型库。该项目集成了RetNet、GLA和Based等多种先进模型，实现了高效的token混合和文本生成。兼容Hugging Face Transformers库，提供预训练模型、评估工具和基准测试，为线性注意力技术的研究和应用提供了便利。

jetson-containers - 为NVIDIA Jetson提供的模块化AI和机器学习容器系统

AI容器DockerGithubJetPackJetsonNVIDIA开源项目

提供适用于NVIDIA Jetson设备的多种AI和机器学习容器，包括PyTorch、TensorFlow、ONNXRuntime和DeepStream等，支持灵活设置不同CUDA版本，并组合多个包如ROS2和Transformer。通过命令行工具可快速运行所需的容器镜像，并有详细文档和教程帮助用户最大化利用Jetson平台的计算能力，简化机器学习和计算机视觉任务的实现。

EasyLM - 简化的大规模语言模型训练与部署

EasyLMGPT-JGithubJAXLLaMATPU开源项目

EasyLM提供了一站式解决方案，用于在JAX/Flax中预训练、微调、评估和部署大规模语言模型。通过JAX的pjit功能，可以扩展到数百个TPU/GPU加速器。基于Hugginface的transformers和datasets，EasyLM代码库易于使用和定制。支持Google Cloud TPU Pods上的多TPU/GPU和多主机训练，兼容LLaMA系列模型。推荐加入非官方的Discord社区，了解更多关于Koala聊天机器人和OpenLLaMA的详细信息及安装指南。

TornadoVM - 适用于异构硬件的Java程序自动化插件

GithubJavaOpenCLPTXSPIR-VTornadoVM开源项目

TornadoVM是一个针对OpenJDK和GraalVM的插件，能够在异构硬件上自动运行Java程序。它支持OpenCL、PTX和SPIR-V设备，包括多核CPU、专用GPU（如Intel、NVIDIA、AMD）、集成GPU（如Intel HD Graphics和ARM Mali）和FPGA（如Intel和Xilinx）。TornadoVM具有三个后端，可生成OpenCL C、NVIDIA CUDA PTX汇编和SPIR-V二进制文件，开发人员可以选择安装和运行所需的后端。

accelerate - 简化多设备PyTorch训练的框架

AccelerateGithubPyTorch分布式训练开源项目混合精度设备管理

Accelerate是一个轻量级PyTorch训练框架,允许在CPU、GPU、TPU等多种设备上运行原生PyTorch脚本。它自动处理设备分配和混合精度训练,简化了分布式训练流程。研究人员和开发者可专注于模型开发,无需关注底层实现细节,从而加速AI模型的训练和部署。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com