LLM压缩器

llmcompressor是一个易于使用的库，用于优化模型以便使用vllm部署，包括：

• 全面的量化算法集，用于仅权重和激活量化
• 与Hugging Face模型和仓库无缝集成
• 基于safetensors的文件格式，与vllm兼容
• 通过accelerate支持大型模型

✨ 在这里阅读公告博客！ ✨

支持的格式

• 激活量化：W8A8（int8和fp8）
• 混合精度：W4A16，W8A16
• 2:4半结构化和非结构化稀疏性

支持的算法

• 简单PTQ
• GPTQ
• SmoothQuant
• SparseGPT

安装

pip install llmcompressor

入门

端到端示例

使用llmcompressor应用量化：

• 激活量化到int8
• 激活量化到fp8
• 仅权重量化到int4

用户指南

深入探讨llmcompressor的高级用法：

• 借助accelerate对大型模型进行量化

快速浏览

让我们使用GPTQ和SmoothQuant算法将TinyLlama量化为8位权重和激活。

请注意，模型可以替换为本地或远程的HF兼容检查点，recipe可以更改以针对不同的量化算法或格式。

应用量化

通过选择算法并调用oneshot API来应用量化。

from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor.modifiers.smoothquant import SmoothQuantModifier
from llmcompressor.transformers import oneshot

# 选择量化算法。在这种情况下，我们：
#   * 应用SmoothQuant使激活更容易量化
#   * 使用GPTQ将权重量化为int8（每通道静态）
#   * 将激活量化为int8（每个token动态）
recipe = [
    SmoothQuantModifier(smoothing_strength=0.8),
    GPTQModifier(scheme="W8A8", targets="Linear", ignore=["lm_head"]),
]

# 使用内置的open_platypus数据集应用量化。
#   * 查看示例以了解如何传递自定义校准集的演示
oneshot(
    model="TinyLlama/TinyLlama-1.1B-Chat-v1.0",
    dataset="open_platypus",
    recipe=recipe,
    output_dir="TinyLlama-1.1B-Chat-v1.0-INT8",
    max_seq_length=2048,
    num_calibration_samples=512,
)

使用vLLM进行推理

llmcompressor创建的检查点可以在vllm中加载和运行：

安装：

pip install vllm

运行：

from vllm import LLM
model = LLM("TinyLlama-1.1B-Chat-v1.0-INT8")
output = model.generate("我的名字是")

问题 / 贡献

• 如果您有任何问题或请求，请提出issue，我们将添加示例或文档。
• 我们欢迎对代码、示例、集成和文档的贡献，以及错误报告和功能请求！在此了解如何贡献。