#模型加速
相关项目
DeepCache
DeepCache通过无需训练的方式显著加速扩散模型，支持Stable Diffusion、Stable Diffusion XL、Stable Video Diffusion等。兼容多种采样算法如DDIM和PLMS，并提供详细的使用示例，用户无需修改代码即可提升性能。此外，DeepCache还支持并行推理和多GPU使用，确保高效部署和运行。
Efficient-Deep-Learning
此项目汇总了深度神经网络压缩和加速的多种方法,涵盖神经架构设计、剪枝、量化、矩阵分解和知识蒸馏等技术。重点介绍了剪枝(含彩票假设)、知识蒸馏和量化等领域的研究进展,并提供了大量相关论文摘要。项目还收录了初始化剪枝和高效视觉Transformer等相关资源,为该领域的研究和开发提供了全面参考。
llama-160m-accelerator
这是一个为JackFram/llama-160m模型设计的加速器项目，借鉴了Medusa推测解码架构的思想。该加速器通过改造MLP为多阶段结构，实现了基于状态向量和先前采样令牌的单token预测，有效提升了模型推理速度。项目支持与vLLM和Hugging Face TGI等工具集成，为大型语言模型的高效部署提供了实用解决方案。加速器的训练过程轻量化，能够在短时间内完成，适用于各种规模的生成式模型。
FLUX.1-Turbo-Alpha
FLUX.1-Turbo-Alpha是阿里妈妈创意团队基于FLUX.1-dev模型开发的8步蒸馏LoRA模型。它采用多头判别器提升蒸馏质量，适用于文本生成图像和修复控制网等任务。该模型经过100万高质量图像训练，利用对抗训练提高效果，在保持输出质量的同时大幅提升生成速度。模型推荐引导缩放值为3.5。