llama.cpp 提供了基于 C/C++ 的纯粹实现，支持包括 LLaMA 在内的多个模型的推理。专为多种硬件和操作系统优化，包括使用 ARM NEON、AVX 指令集和 Metal 框架的设备。此外，项目支持使用 NVIDIA GPU 的自定义 CUDA 核心，以及通过 HIP 支持 AMD GPU，为开发者在本地或云环境中实现高效、低延迟的大规模语言模型推理提供了强大的灵活性和可扩展性。

llama2.mojo项目展示了如何将llama2模型移植到Mojo中，通过Mojo的SIMD和矢量化原语，将Python性能提升近250倍。在多线程推理中，Mojo版的性能超过了原始llama2.c的30%，在CPU上进行baby-llama推理时，性能超过了llama.cpp的20%。项目当前支持多个模型，包括stories和Tinyllama-1.1B-Chat。用户可以通过简单的命令行步骤或使用Docker在本地部署并运行该项目。

Candle是一款基于Rust开发的机器学习框架,专注于性能优化和易用性。它支持GPU加速计算,提供LLaMA、Stable Diffusion等多种AI模型示例。Candle采用类PyTorch的简洁语法,支持模型训练和自定义操作。该框架具有优化的CPU和CUDA后端,同时支持WebAssembly。作为一个轻量级但功能强大的框架,Candle适用于机器学习应用的快速开发和部署。

Fireworks AI是一个高效的生成式AI推理平台，为用户提供100多个开源模型的快速推理服务。该平台支持模型微调和部署，可构建复合AI系统。Fireworks AI以高速度、低成本和可扩展性见长，能够帮助企业快速将AI原型转化为生产系统。平台提供安全可靠的基础设施，适用于从初创公司到大型企业的各类用户，有助于充分发挥生成式AI的价值。

DeepSpeed 是一个深度学习优化软件套件，专为大规模模型训练和推理设计，能显著优化系统性能和降低成本。它支持亿级至万亿级参数的高效管理，兼容各种计算环境，从资源受限的GPU系统到庞大的GPU集群。此外，DeepSpeed 在模型压缩和推理领域亦取得创新成就，提供极低的延迟和极高的处理速率。

Flux是Black Forest Labs开发的开源AI框架，用于文本到图像和图像到图像的转换。该项目提供pro、dev和schnell三个模型版本，满足不同性能需求。Flux支持本地部署、API调用及Diffusers集成，具有良好的灵活性。其代码简洁，接口直观，便于创意工作者和开发者使用。

Ortex是基于ONNX Runtime的Elixir封装库，通过Nx.Serving实现ONNX模型的并发和分布式部署。该框架支持CUDA、TensorRT和Core ML等多种后端，能够高效加载和推理主流机器学习库导出的ONNX模型。Ortex还提供了便捷的存储型张量实现，为开发者提供了灵活且高效的机器学习模型部署方案。

FasterTransformer4CodeFuse是一个针对蚂蚁集团CodeFuse模型的优化推理引擎。它实现了Int8量化、流式输出和快速模型加载，同时改进了提示词处理并提供Python API。项目还支持多GPU tensor并行推理，并提供了详细的性能数据。相比原始FasterTransformer，该项目更适合需要高效推理CodeFuse模型的开发者和研究人员，能够显著提升性能和使用体验。对于寻求高效CodeFuse模型部署方案的团队，这是一个值得考虑的开源选择。

Awesome-LLM-Inference项目提供了一系列关于大型语言模型推理的研究论文和配套代码，涵盖了从基础框架到先进技术的全面资源，旨在帮助研究人员和开发者提高推理效率和性能。提供了全面的信息和技术支持，用于研究和开发高性能的大型语言模型。

Awesome-LLMOps列出了大语言模型运维(LLMOps)领域的优秀工具和资源。涵盖模型训练、部署、优化、服务、安全、搜索和代码AI等方面。该项目为开发者提供了构建和管理大规模语言模型应用的重要参考。

Chameleon是Meta AI开发的多模态早期融合基础模型。项目提供GPU推理实现、浏览器端多模态输入输出查看工具和评估提示。开源内容包括模型代码、权重和数据集，支持多模态AI技术研究与应用。Chameleon能够在文本、图像等多种模态间实现高效融合和理解。

OpenVINO Model Server是一个高性能AI模型部署系统，针对Intel架构优化。支持TensorFlow、PaddlePaddle和ONNX等多种框架，可在不同AI加速器上运行。系统通过gRPC和REST API提供服务，具备模型版本控制、动态输入和DAG调度等功能。适用于边缘计算和云环境，可提高资源利用率和推理效率。该系统还支持Python代码执行、gRPC流式传输和MediaPipe图形服务。OpenVINO Model Server适合微服务架构应用和Kubernetes环境部署，可实现水平和垂直推理扩展。

InferLLM 是一个高效简洁的语言模型推理框架，源于 llama.cpp 项目。主要特点包括结构简单、高性能、易于上手，并支持多模型格式。目前兼容 CPU 和 GPU，可优化 Arm、x86、CUDA 和 riscv-vector，并支持移动设备部署。InferLLM 引入了专有 KVstorage 类型以简化缓存和管理，适合多种应用场景。最新支持的模型包括 LLama-2-7B、ChatGLM、Alpaca 等。

Audio Separator是一个开源的Python音频分离工具，能将音频文件分离为人声、乐器等多个音轨。支持WAV、MP3等常见格式，提供命令行和Python API接口。采用MDX-Net、VR Arch等AI模型，支持GPU加速，可快速分离高质量音轨。适用于卡拉OK制作和音乐后期处理等场景。

llama2.c是一个用纯C语言实现的Llama 2模型推理引擎,仅需700行代码即可运行PyTorch训练的模型。项目设计简洁易用,提供从训练到推理的完整方案,支持Meta官方和自定义小型Llama 2模型。通过模型量化技术,llama2.c能够提升推理速度并缩小模型体积,为轻量级大语言模型部署提供了高效解决方案。

该项目汇集大语言模型系统相关的学术论文、文章、教程和项目,涵盖预训练、推理服务、微调系统等多个方面。包括Megatron-LM、FlashAttention、vLLM等重要工作,还涉及LLM用于系统优化的研究。这一精选列表有助于研究者和开发者及时了解大语言模型系统领域的最新进展。