#量化技术

aphrodite-engine

Aphrodite是一个开源的语言模型推理引擎，采用vLLM的分页注意力机制实现高效推理。它支持连续批处理、多种量化方法和分布式推理，可为大规模用户提供快速服务。该引擎还具备多种采样方法和8位KV缓存，能够处理更长的上下文并提高吞吐量。Aphrodite目前作为PygmalionAI的官方后端引擎使用。