llama-zip: LLM驱动的无损压缩工具

llama-zip简介

llama-zip是一款由GitHub用户AlexBuz开发的开源无损压缩工具。它的独特之处在于利用大型语言模型(LLM)作为算术编码器的概率模型,从而实现对文本数据的高效压缩。这种创新的压缩方法可以在处理结构化文本和自然语言时达到非常高的压缩比。

llama-zip的核心思想是,对于LLM能够以高置信度预测的token,只需要很少的比特就能进行编码。通过滑动上下文窗口的方式,llama-zip可以突破LLM的上下文长度限制,压缩任意长度的字符串。此外,通过将无效的UTF-8字节编码到Unicode私有区的代码点,llama-zip还可以处理二进制数据,尽管对这类数据的压缩效果可能不如文本数据理想。

Interactive Mode Demo: Lorem Ipsum Text

压缩性能

为了评估llama-zip的压缩性能,开发者对Calgary语料库中的文本文件以及llama-zip自身的源代码进行了压缩测试,并将结果与其他流行的高性能压缩工具进行了对比。测试中使用了两种LLM模型:

Phi-3.1-mini-128k-instruct (Q4_K_M)
- 8192 token上下文长度 (表中简称"phi-8k")
- 32768 token上下文长度 (表中简称"phi-32k")
Llama-3.1-8B (Q4_K_M)
- 8192 token上下文长度 (表中简称"llama-8k")
- 32768 token上下文长度 (表中简称"llama-32k")

测试结果显示,llama-zip在大多数情况下都能显著优于传统压缩工具。例如,对于"bib"文件,llama-zip (llama-8k)的压缩比高达15.001,远超其他工具。对于llama-zip自身的源代码文件,压缩比更是达到了惊人的29.083。

值得注意的是,增加上下文长度并不总是能提高压缩比。例如,Llama 3.1模型在8k token上下文长度时的平均表现优于32k token上下文长度。这可能是因为较短的上下文长度能够更好地捕捉局部相关性。

安装与使用

安装

要使用llama-zip,首先需要从GitHub克隆项目并安装:

git clone https://github.com/alexbuz/llama-zip.git
cd llama-zip
pip3 install .

LLM下载

llama-zip依赖于与llama.cpp兼容的LLM模型。用户需要下载一个合适的模型,如Llama 3.1 8B。建议下载量化版本(.gguf文件),以确保模型能够适应系统内存。

命令行使用

llama-zip的基本命令行格式如下:

llama-zip <llm_path> [options] <mode> [input]

llama-zip支持三种操作模式:

压缩模式 (-c 或 --compress)
解压模式 (-d 或 --decompress)
交互模式 (-i 或 --interactive)

此外,llama-zip还提供了多个选项来调整压缩行为,如压缩格式(-f)、窗口重叠(-w)、上下文长度(--n-ctx)等。

API使用

除了命令行接口,llama-zip还提供了Python API。用户可以通过LlamaZip类来进行编程式的压缩和解压操作:

from llama_zip import LlamaZip

# 初始化压缩器
compressor = LlamaZip(model_path="/path/to/model.gguf")

# 压缩数据
original = b"The quick brown fox jumps over the lazy dog."
compressed = compressor.compress(original)

# 解压数据
decompressed = compressor.decompress(compressed)
assert decompressed == original