#推理优化
airllm
AirLLM优化了推理内存使用,使70B大模型能在单个4GB GPU上运行,无需量化、蒸馏或剪枝。同时,8GB显存可运行405B的Llama3.1。支持多种模型压缩方式,推理速度可提升至3倍。兼容多种大模型,提供详细配置和案例,支持在MacOS上运行。
self-speculative-decoding
Self-Speculative Decoding是ACL 2024的一个开源项目,提出了一种无损加速大型语言模型(LLMs)的新方法。该技术通过草稿生成和验证两个阶段,在不增加额外训练和内存的情况下提高LLM推理速度。这一创新方案保证了输出质量和模型兼容性,为LLM加速提供了高效且易于实施的解决方案。
sparseml
SparseML是开源模型压缩工具包,使用剪枝、量化和蒸馏算法优化推理稀疏模型。可导出到ONNX,并与DeepSparse结合,在CPU上实现GPU级性能。适用于稀疏迁移学习和从零开始的稀疏化,兼容主流NLP和CV模型,如BERT、YOLOv5和ResNet-50,实现推理速度和模型大小的显著优化。
gemma-2B-10M
gemma-2B-10M项目采用递归局部注意力机制,在32GB内存限制下实现了处理1000万token上下文的能力。该项目为Gemma 2B模型提供CUDA优化的推理功能,显著提升了处理效率。项目设计简洁易用,便于开发者快速应用。虽然目前处于早期阶段,但在长文本处理领域展现出巨大潜力,有望推动相关技术的进步。