#并行推理

distrifuser

DistriFusion是一种用于高分辨率扩散模型的分布式并行推理算法。该方法无需额外训练，通过多GPU协同工作加速推理过程，同时保持图像质量。其创新的补丁交互技术解决了传统方法的碎片化问题，在高分辨率图像生成任务中显著提升了性能。该项目已在CVPR 2024被评为亮点工作，并开源了相关代码。

mlx_parallm

MLX ParaLLM是一个为Apple Silicon设备开发的开源项目，利用MLX框架实现批处理KV缓存技术，从而提高并行推理效率。项目支持Meta-Llama、Phi-3和Gemma等多种模型，兼容量化和float16格式。通过batch_generate方法，MLX ParaLLM实现自动填充、提示模板格式化和多种采样策略，适用于大规模并行文本生成任务。

Mistral-7B-OpenOrca-AWQ

项目提供OpenOrca的Mistral 7B模型的AWQ版本。AWQ是一种4比特的低比特量化方法，在Transformers推理中更快速，与GPTQ相比具有效率优势。AWQ支持在多用户环境中实现高效的并发推理，有助于使用更小的GPU进行部署，减少整体成本，尽管总体吞吐量仍略低于未量化模型。