#量化

vLLM是一个高性能且易用的LLM推理与服务平台，具备PagedAttention内存管理、CUDA/HIP图形加速、量化支持、并行解码算法及流式输出等技术优势。vLLM无缝集成Hugging Face模型，兼容多种硬件设备，支持分布式推理和OpenAI API。最新版本支持Llama 3.1和FP8量化。用户可通过pip安装并参考详细文档快速入门。

LMDeploy是由MMRazor和MMDeploy团队开发的工具包，专注于LLM的压缩、部署和服务。它提供高效的推理性能、有效的量化方法和便捷的分布式服务，显著提升请求吞吐量。支持多种量化方式和多模型服务，兼容性强。最新版本集成了TurboMind和PyTorch推理引擎，支持多种LLMs和VLMs模型，降低开发者的技术门槛。

本项目介绍了如何使用ORPO、QLoRA、GPTQ等技术对大型语言模型（LLM）进行微调，包含具体实例和代码片段。项目还提供与这些技术相关的YouTube视频链接，提供全面的学习资料。此外，项目还包含各类实用工具和技术说明，帮助用户更好地理解和应用这些前沿技术。适合有一定编程基础的研究人员和开发者参考。

Curated Transformers是一个为PyTorch设计的转换器库，提供最新的模型和可复用组件。支持最新的转换器模型，如Falcon、Llama和Dolly v2，具备类型注释和极少的依赖性，适合教育和生产环境。支持集成至spaCy 3.7，快速安装及支持高效的CUDA优化。

此项目提供LLaMa-7B和RWKV-400M的ONNX模型与独立演示，无需torch或transformers，适用于2GB内存设备。项目包括内存池支持、温度与topk logits调整，并提供导出混合精度和TVM转换的详细步骤，适用于嵌入式设备和分布式系统的大语言模型部署和推理。

Awesome-Efficient-LLM项目汇总了针对大型语言模型优化的关键技术，包括知识蒸馏、网络剪枝、量化和加速推理等，支持研究者和开发者获取最新的效率提升方法和学术文献。该平台定期更新，提供过去60天内的相关研究成果，便于用户系统地探索和应用这些高效技术。

SqueezeLLM通过密集与稀疏量化方法降低大语言模型的内存占用并提升性能，将权重矩阵拆分为易量化的密集组件和保留关键部分的稀疏组件，实现更小内存占用、相同延迟和更高精度。支持包括LLaMA、Vicuna和XGen在内的多个热门模型，提供3位和4位量化选项，适用于不同稀疏度水平。最新更新涵盖Mistral模型支持和自定义模型量化代码发布。

项目介绍了如何通过Docker快速部署LLaMA2大模型，支持官方7B、13B模型及中文7B模型。用户只需三步即可上手，并提供量化版本支持CPU推理。详细教程和一键运行脚本帮助用户轻松构建和运行模型。

rtp-llm是阿里巴巴基础模型推理团队开发的大型语言模型推理加速引擎，广泛应用于支持淘宝问答、天猫、菜鸟网络等业务，并显著提升处理效率。该项目基于高性能CUDA技术，支持多种权重格式和多模态输入处理，跨多个硬件后端。新版本增强了GPU内存管理和设备后端，优化了动态批处理功能，提高了用户的使用和体验效率。

OmniQuant是一种高效的量化技术，支持多种大型语言模型（LLM）的权重和激活量化，包括LLaMa和OPT等。其实现了4位及更低精度的权重量化，并通过MLC-LLM优化在多种硬件设备上的推理性能和内存占用。此外，项目还支持Mixtral和Falcon模型的压缩应用，大幅降低内存需求，提高运行效率。

该工具库正在开发中，专注于处理和解析GGUF文件。它提供详细的键值对和张量信息展示、文件比较和张量细节检查等功能。gguf-tools旨在为机器学习领域提供多种实现方案，帮助理解和使用GGUF格式，提升模型操作和分析的效率。该工具展示了如何在实际应用中使用库，并将来计划加入更多有趣且实用的示例和功能。

QKeras 是一个针对 Keras 的量化扩展工具，通过替换部分 Keras 层，能够快速创建量化版深度学习模型。项目设计遵循用户友好、模块化和易扩展的原则，包括 QDense 和 QConv2D 等多种量化层。QTools 用于辅助硬件实现和能耗估算，AutoQKeras 可以自动进行模型量化和重新平衡。此项目提供简单易用的界面，适用于快速原型设计、前沿研究和生产环境。

PaddleSlim是一个深度学习模型压缩的工具库，提供低比特量化、知识蒸馏、稀疏化和模型结构搜索等策略。支持自动化压缩，量化预测能加速2.5倍，模型体积减少3.9倍。提供YOLOv8自动化压缩示例，并优化了在Nvidia GPU和ARM设备上的性能。适用于视觉和自然语言处理任务。支持PaddlePaddle和PaddleLite多个版本，适合有模型压缩需求的开发者使用。

PINTO_model_zoo 是一个开源工具库，支持 TensorFlow、PyTorch、ONNX、OpenVINO 等多个框架的模型转换和量化。项目提供多种量化方法，包括权重量化、整数量化和浮点数量化，旨在优化模型性能以适应不同平台，如 RaspberryPi 和 EdgeTPU。它还提供大量预量化模型和详细转换指南，帮助开发者在各种设备上高效部署深度学习模型。

TensorFlow Model Optimization Toolkit 提供稳定的 Python API，帮助用户通过量化和稀疏化技术优化机器学习模型，包括针对 Keras 的专用 API。该工具包还提供详细的安装指南、教程和 API 文档，显著提升模型在部署和执行时的性能。该项目由 TensorFlow 团队维护，并遵循其行为准则，开发者可以通过 GitHub 提交问题和贡献代码。

该项目汇集了深度神经网络压缩的综合资源，包括量化、剪枝和蒸馏等技术的论文、总结和代码。涵盖高效模型设计、神经架构搜索等相关主题，并提供按会议和年份分类的论文列表。项目还收录了主流压缩系统和工具链接，为深度学习模型压缩研究提供了全面的参考资料。

VILA是一种新型视觉语言模型，采用大规模交错图像-文本数据预训练，增强了视频和多图像理解能力。通过AWQ 4位量化和TinyChat框架，VILA可部署到边缘设备。该模型在视频推理、上下文学习和视觉思维链等方面表现出色，并在多项基准测试中获得了优异成绩。项目完全开源，包括训练和评估代码、数据集以及模型检查点。

Neural Compressor是一款开源深度学习模型压缩工具库，支持TensorFlow、PyTorch和ONNX Runtime等主流框架。它提供量化、剪枝、知识蒸馏等多种压缩技术，适用于Intel等多种硬件平台。该工具支持大语言模型优化，并与主流云服务和AI生态系统集成。其自动化的精度感知量化策略有助于平衡模型性能和精度。

ggml是一个C语言编写的机器学习张量库，支持16位浮点和整数量化。该库提供自动微分、优化器和多架构优化，无第三方依赖。ggml可用于GPT、LLaMA、Whisper等多种AI模型的推理。它在CPU上表现高效，同时支持GPU加速，适用于多种设备和平台。

fsdp_qlora项目结合FSDP与量化LoRA,实现了在有限显存GPU上高效训练大型语言模型。支持HQQ和bitsandbytes的4位量化、LoRA、DoRA等多种策略,大幅降低内存占用。项目提供详细文档,便于快速上手使用。该方法使在消费级GPU上训练70B参数模型成为可能,为大模型研究提供了实用工具。

llm-compressor是一个专注于大型语言模型优化和压缩的开源库。它提供全面的量化算法集，支持权重和激活量化，并与Hugging Face模型和仓库无缝集成。该项目采用safetensors文件格式，确保与vllm兼容，同时通过accelerate支持大规模模型处理。llm-compressor涵盖多种量化格式和算法，包括激活量化、混合精度和稀疏化技术，为模型优化提供灵活多样的选择。

Low-bit Optimizers项目实现了一种4位优化器技术，可将优化器状态从32位压缩至4位，有效降低神经网络训练的内存使用。通过分析一阶和二阶动量，该项目提出了改进的量化方法，克服了现有技术的限制。在多项基准测试中，4位优化器实现了与全精度版本相当的准确率，同时提高了内存效率，为大规模模型训练开辟了新途径。

本项目系统性地综述了大语言模型效率优化研究，包括模型压缩、高效预训练、微调和推理等方面。从模型、数据和框架三个维度对相关技术进行分类，全面梳理了该领域的最新进展，为研究人员和从业者提供了有价值的参考资料。

bitsandbytes是一个轻量级Python库，为CUDA自定义函数提供封装。该库主要提供8位优化器、矩阵乘法(LLM.int8())以及8位和4位量化功能。通过bitsandbytes.nn模块实现多位线性层，bitsandbytes.optim模块提供优化器。目前正在拓展对更多硬件后端的支持，包括Intel CPU+GPU、AMD GPU和Apple Silicon，Windows平台的支持也在开发中。

项目对比测试了NVIDIA GPU和Apple芯片在LLaMA 3模型上的推理性能,涵盖从消费级到数据中心级的多种硬件。测试使用llama.cpp,展示了不同量化级别下8B和70B模型的推理速度。结果以表格形式呈现,包括生成速度和提示评估速度。此外,项目提供了编译指南、使用示例、VRAM需求估算和模型困惑度比较,为LLM硬件选型和部署提供全面参考。

本项目提供了一系列实用工具和指南，帮助开发者快速掌握Llama 3.1模型。内容涵盖本地推理、API调用、模型量化和微调等关键主题，并包含相关代码示例。此外，项目还介绍了Llama Guard和Prompt Guard安全模型的应用，以及其他高级用例。项目资源适合不同经验水平的开发者，为探索和应用Llama 3.1模型提供了有价值的参考。

FLUTE是专为LUT量化大语言模型开发的灵活查找表引擎。该引擎支持整数、浮点和学习型等多种量化方案，可与vLLM和Hugging Face等主流框架无缝集成。FLUTE兼容LLaMA-3/3.1、Gemma-2等多种模型，能在保持模型性能的同时大幅降低内存占用和推理延迟，为大语言模型优化提供了高效解决方案。

Exploring AI optimization项目是一个聚焦AI优化技术的资源库，收录了量化、剪枝等领域的高质量论文、教程和课程。该项目每周更新AI优化领域的重要研究见解，为研究人员和开发者提供学习参考，推动AI技术发展。资源库开放社区贡献，鼓励知识交流与分享。

llama2.rs是一个用Rust开发的Llama2 CPU推理库，专注于提供高性能的推理能力。项目支持4位GPT-Q量化、批量预填充提示标记、SIMD加速和内存映射等技术，实现了70B模型的即时加载。通过Python API，开发者可在普通台式机上运行70B Llama2模型（1 token/s）和7B模型（9 tokens/s）。该项目为大规模语言模型的CPU推理提供了高效且灵活的开源解决方案。

GPTFast是一个为Hugging Face Transformers模型优化推理速度的开源Python库。它集成了多种加速技术,如静态键值缓存、int4量化和推测解码,可将模型推理速度提升7.6-9倍。GPTFast支持torch.compile、int8量化、GPTQ int4量化等优化方法,通过简单的API调用即可应用于各类Hugging Face模型。该项目持续更新,未来计划引入更多先进的加速技术。

AQLM项目开发了一种名为加性量化的新技术，可将大型语言模型压缩至原规模的1/16左右，同时基本保持原始性能。该技术适用于LLaMA、Mistral和Mixtral等多种模型架构，并提供了预量化模型。项目包含PyTorch实现代码、使用教程和推理优化方案，为大规模语言模型的实际应用提供了新思路。

LoftQ是一种为大型语言模型设计的量化微调方法。它通过寻找最佳的量化LoRA初始化,实现有限GPU资源下的高效模型微调。LoftQ支持LLAMA、Falcon、Mistral等主流模型,提供相关工具和示例代码。在WikiText-2和GSM8K等任务上,LoftQ展现出优秀性能,为低资源环境中的LLM应用开发创造了新可能。

Q-Diffusion是一种针对扩散模型的后训练量化方法。它能将无条件扩散模型压缩至4位精度，同时保持接近原模型的性能。该方法通过时间步感知校准和分离捷径量化技术解决了扩散模型量化的主要难题。Q-Diffusion不仅适用于无条件图像生成，还可用于文本引导的图像生成，首次实现了4位权重下的高质量生成效果。这一技术为扩散模型的高效实现开辟了新途径。

FasterTransformer4CodeFuse是一个针对蚂蚁集团CodeFuse模型的优化推理引擎。它实现了Int8量化、流式输出和快速模型加载，同时改进了提示词处理并提供Python API。项目还支持多GPU tensor并行推理，并提供了详细的性能数据。相比原始FasterTransformer，该项目更适合需要高效推理CodeFuse模型的开发者和研究人员，能够显著提升性能和使用体验。对于寻求高效CodeFuse模型部署方案的团队，这是一个值得考虑的开源选择。

AutoAWQ是一个专门针对大型语言模型的4位量化框架，通过实现激活感知权重量化算法，可将模型速度提升3倍，同时减少3倍内存需求。该框架支持Mistral、LLaVa、Mixtral等多种模型，具备多GPU支持、CUDA和ROCm兼容性以及PEFT兼容训练等特性。AutoAWQ为提升大型语言模型的推理效率提供了有力工具。

Text Generation Inference (TGI) 是一个部署和服务大型语言模型的工具包。它支持Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等流行的开源模型，提供简便的启动器、分布式追踪、张量并行、多GPU推理加速、令牌流等特性。TGI还支持权重量化和安全张量加载，具备自定义提示生成和微调功能，兼容Nvidia、AMD、Inferentia、Intel GPU、Gaudi和Google TPU等硬件平台。