#Triton
GenerativeAIExamples
NVIDIA提供的生成式AI示例,使用CUDA-X软件栈和NVIDIA GPU,展示快速部署、测试和扩展AI模型的方法。包括最新的RAG管道构建技巧、实验性示例和企业应用,支持本地和远程推理,集成流行LLM编程框架,并附有详细开发文档。
jax-triton
jax-triton项目实现了JAX和Triton的集成,让开发者能在JAX中使用Triton的GPU计算功能。通过triton_call函数,可在JAX编译函数中应用Triton内核,提高计算密集型任务效率。项目提供文档和示例,适合机器学习和科学计算领域的GPU计算优化需求。
attorch
attorch是一个基于OpenAI Triton的PyTorch模块子集,提供易于修改的高效神经网络模块。支持自动混合精度、计算机视觉和自然语言处理相关层。
tensorrtllm_backend
TensorRT-LLM Backend是Triton Inference Server的专用后端,用于部署和服务TensorRT-LLM模型。它集成了in-flight batching和paged attention等先进特性,显著提升了大语言模型的推理效率。通过简洁的接口设计,此后端使TensorRT-LLM模型能无缝集成到Triton服务中,为用户提供高性能、可扩展的AI推理解决方案。