PowerInfer:消费级GPU上的高速大语言模型推理引擎
近年来,大语言模型(LLM)的快速发展为自然语言处理领域带来了革命性的变革。然而,这些庞大的模型通常需要强大的硬件资源才能高效运行,这限制了它们在个人设备上的应用。为了解决这一问题,来自上海交通大学的研究人员开发了PowerInfer,这是一个创新的LLM推理引擎,能够在配备单个消费级GPU的个人电脑上实现高速推理。
PowerInfer的核心设计理念
PowerInfer的核心设计理念是利用LLM推理中固有的高局部性。研究人员发现,LLM推理中的神经元激活呈现幂律分布的特征。这意味着有一小部分神经元(称为"热"神经元)在不同输入下都会被频繁激活,而大部分神经元(称为"冷"神经元)的激活则依赖于特定的输入。
基于这一洞察,PowerInfer设计了一个GPU-CPU混合推理引擎:
- 将频繁激活的"热"神经元预加载到GPU上,以实现快速访问。
- 将不常激活的"冷"神经元计算任务分配给CPU。
这种设计显著降低了GPU内存需求和CPU-GPU之间的数据传输,从而大幅提升了推理速度。
PowerInfer的关键技术
为了进一步优化推理性能,PowerInfer还集成了以下关键技术:
- 自适应预测器:动态预测神经元的激活情况,提高预加载的准确性。
- 神经元感知稀疏算子:针对稀疏激活模式优化计算。
- 异构计算:将粗粒度的矩阵计算分解为细粒度的"神经元簇",并根据不同硬件组件的特性动态调整这些簇的大小。
- I/O-计算流水线:采用神经元缓存和细粒度神经元簇级流水线技术,最大化神经元加载和计算的重叠。
这些技术的结合使PowerInfer能够充分利用消费级硬件的潜力,实现高效的LLM推理。
性能评估
研究人员对PowerInfer进行了全面的性能评估。在配备单个NVIDIA RTX 4090 GPU的个人电脑上,PowerInfer在各种LLM(包括OPT-175B)上实现了平均13.20 tokens/s的令牌生成速率,峰值可达29.08 tokens/s。这一性能仅比顶级服务器级A100 GPU低18%,同时显著优于llama.cpp,速度提升最高可达11.69倍。
PowerInfer的特点和优势
- 高速推理:利用激活局部性和"热"/"冷"神经元概念,实现高效的LLM推理。
- 混合CPU/GPU利用:无缝集成CPU和GPU的内存/计算能力,实现均衡的工作负载和更快的处理速度。
- 易于集成:兼容流行的ReLU稀疏模型。
- 本地部署便捷:专为消费级硬件上的本地部署而设计和深度优化,实现低延迟的LLM推理和服务。
- 向后兼容:虽然与llama.cpp不同,但用户可以像使用llama.cpp一样使用大多数
examples/，如服务器和批量生成。
支持的模型和平台
PowerInfer目前支持以下模型:
- Falcon-40B
- Llama2系列
- ProSparse Llama2系列
- Bamboo-7B
PowerInfer已在以下平台上进行了测试:
- Linux上的x86-64 CPU(带AVX2指令),有或无NVIDIA GPU
- Windows上的x86-64 CPU(带AVX2指令),有或无NVIDIA GPU
- macOS上的Apple M芯片(仅CPU)
未来发展方向
PowerInfer团队正在积极开发新功能,包括:
- 支持Metal后端,实现macOS上的稀疏推理
- 支持更多模型架构
- 优化多GPU支持
- 改进量化技术
- 增强与其他框架的集成
结论
PowerInfer为在消费级硬件上运行大型语言模型开辟了新的可能性。通过创新的设计和优化技术,它使个人用户能够在自己的设备上体验高速LLM推理,而无需依赖昂贵的服务器级硬件。这不仅降低了使用LLM的门槛,还为未来的AI应用开发提供了新的机会。
随着PowerInfer的不断发展和完善,我们可以期待看到更多基于本地LLM的创新应用出现,从而推动人工智能技术向更加普及和个性化的方向发展。PowerInfer的出现无疑是大语言模型民主化进程中的一个重要里程碑,它为AI技术的普及和个人赋能开辟了新的道路。
