AutoAWQ

| 路线图 | 示例 | 问题：需要帮助 |

支持者

AutoAWQ 是一个易于使用的 4 位量化模型包。与 FP16 相比，AutoAWQ 可以将模型速度提高 3 倍，并将内存需求减少 3 倍。AutoAWQ 实现了激活感知权重量化（AWQ）算法来量化大型语言模型。AutoAWQ 是基于 MIT 的原始工作创建并改进的。

最新消息 🔥

• [2024/06] 支持 CPU 推理（x86）- 感谢英特尔。支持 Cohere 和 Phi3。
• [2024/04] 支持 StableLM 和 StarCoder2。
• [2024/03] 支持 Gemma。
• [2024/02] 支持 FP16 的 PEFT 兼容训练。
• [2024/02] 通过 ExLlamaV2 内核支持 AMD ROCm。
• [2024/01] 导出到 GGUF，ExLlamaV2 内核，上下文处理速度提高 60%。
• [2023/12] 支持 Mixtral、LLaVa、QWen、Baichuan 模型。
• [2023/11] AutoAWQ 推理已集成到 🤗 transformers 中。现包含 CUDA 12.1 轮子。
• [2023/10] 支持 Mistral（融合模块）、Bigcode、Turing，内存错误修复（节省 2GB VRAM）
• [2023/09] 融合模型速度提升 1.6-2.5 倍（现包括 MPT 和 Falcon）。
• [2023/09] 支持多 GPU，修复错误，提供更好的基准测试脚本
• [2023/08] 发布 PyPi 包，提供 AutoModel 类

安装

先决条件

• NVIDIA：
  • 您的 NVIDIA GPU 必须具有 7.5 或更高的计算能力。支持图灵及更新架构。
  • 您的 CUDA 版本必须是 CUDA 11.8 或更高版本。
• AMD：
  • 您的 ROCm 版本必须是 ROCm 5.6 或更高版本。

从 PyPi 安装

要从 PyPi 安装最新的 AutoAWQ，您需要安装 CUDA 12.1。

pip install autoawq

从源代码构建

对于 CUDA 11.8、ROCm 5.6 和 ROCm 5.7，您可以从发布页面安装轮子：

pip install autoawq@https://github.com/casper-hansen/AutoAWQ/releases/download/v0.2.0/autoawq-0.2.0+cu118-cp310-cp310-linux_x86_64.whl

或直接从主分支安装：

pip install autoawq@https://github.com/casper-hansen/AutoAWQ.git

或通过克隆仓库并从源代码安装：

git clone https://github.com/casper-hansen/AutoAWQ
cd AutoAWQ
pip install -e .

这三种方法都将从 AutoAWQ_Kernels 为您的系统安装最新和正确的内核。

如果您的系统不受支持（即不在发布页面上），您可以按照 AutoAWQ_Kernels 中的说明自行构建内核，然后从源代码安装 AutoAWQ。

使用方法

在 examples 目录下，您可以找到如何量化、运行推理和对 AutoAWQ 模型进行基准测试的示例。

INT4 GEMM vs INT4 GEMV vs FP16

AWQ 有两个版本：GEMM 和 GEMV。这两个名称与矩阵乘法在底层的运行方式有关。我们建议如下：

• GEMV（量化）：比 GEMM 快 20%，仅支持批量大小为 1（不适合大上下文）。
• GEMM（量化）：在批量大小小于 8 时比 FP16 快得多（适合大上下文）。
• FP16（非量化）：推荐用于最高吞吐量：vLLM。

计算受限 vs 内存受限

在小批量大小的小型 7B 模型中，我们受内存限制。这意味着我们受限于 GPU 在内存中推送权重的带宽，这基本上限制了我们每秒可以生成的令牌数。受内存限制是使量化模型更快的原因，因为您的权重小 3 倍，因此可以在内存中更快地推送。这与受计算限制不同，后者在生成过程中主要时间花在进行矩阵乘法上。

在受计算限制的情况下，这种情况发生在更高的批量大小下，使用 W4A16 量化模型不会获得速度提升，因为反量化的开销会降低整体生成速度。这是因为 AWQ 量化模型仅将权重存储为 INT4，但在推理过程中执行 FP16 操作，所以我们基本上是在推理过程中将 INT4 转换为 FP16。

融合模块

融合模块是 AutoAWQ 获得大幅加速的重要部分。其思想是将多个层合并为单个操作，从而提高效率。融合模块代表了一组独立于 Huggingface 模型工作的自定义模块。它们与 model.generate() 和其他 Huggingface 方法兼容，但如果激活融合模块，这会导致模型使用上的一些不灵活性：

• 当您使用 fuse_layers=True 时，融合模块会被激活。
• 实现了自定义缓存。它根据批量大小和序列长度预分配。
  • 创建模型后无法更改序列长度。
  • 参考：AutoAWQForCausalLM.from_quantized(max_seq_len=seq_len, batch_size=batch_size)
• 融合模块中的主要加速器来自 FasterTransformer，它仅与 Linux 兼容。
• model.generate() 中的 past_key_values 只是虚拟值，因此无法在生成后使用。

示例

更多示例可以在 examples 目录 中找到。

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

model_path = 'lmsys/vicuna-7b-v1.5'
quant_path = 'vicuna-7b-v1.5-awq'
quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }

# 加载模型
model = AutoAWQForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# 量化
model.quantize(tokenizer, quant_config=quant_config)

# 保存量化模型
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, TextStreamer

quant_path = "TheBloke/zephyr-7B-beta-AWQ"

# 加载模型
model = AutoAWQForCausalLM.from_quantized(quant_path, fuse_layers=True)
tokenizer = AutoTokenizer.from_pretrained(quant_path, trust_remote_code=True)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

# 将提示转换为令牌
prompt_template = """\
<|system|>
</s>
<|user|>
{prompt}</s>
<|assistant|>"""

prompt = "你正站在地球表面。"\
        "你向南走一英里，向西走一英里，然后向北走一英里。"\
        "你最终回到了起点。你在哪里？"

tokens = tokenizer(
    prompt_template.format(prompt=prompt), 
    return_tensors='pt'
).input_ids.cuda()

# 生成输出
generation_output = model.generate(
    tokens, 
    streamer=streamer,
    max_seq_len=512
)

基准测试

这些基准测试展示了处理上下文（预填充）和生成标记（解码）的速度和内存使用情况。结果包括不同批量大小和不同版本AWQ内核的速度。我们旨在使用同一基准测试工具公平测试模型，您可以用它来复现结果。请注意，速度不仅在GPU之间有所不同，在CPU之间也会有差异。最重要的是高内存带宽的GPU和高单核时钟速度的CPU。

• 使用AutoAWQ版本0.1.6测试
• GPU：RTX 4090（AMD Ryzen 9 7950X）
• 命令：python examples/benchmark.py --model_path <hf_model> --batch_size 1
• 🟢表示GEMV，🔵表示GEMM，🔴表示避免使用

多GPU

GPU：2块NVIDIA GeForce RTX 4090

CPU

• CPU: 英特尔(R) 至强(R) 白金 8592+ 处理器，配备 8 通道 4800MT/s 内存。
• 命令：python examples/benchmark.py --model_path <hf_model> --batch_size 1

参考

如果您发现 AWQ 对您的研究有用或相关，您可以引用他们的论文：

@article{lin2023awq,
  title={AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration},
  author={Lin, Ji and Tang, Jiaming and Tang, Haotian and Yang, Shang and Dang, Xingyu and Han, Song},
  journal={arXiv},
  year={2023}
}