llama-zip

llama-zip是一个无损压缩工具,它利用用户提供的大语言模型(LLM)作为算术编码器的概率模型。这使得llama-zip能够在结构化或自然语言文本上实现高压缩率,因为对于模型高度确信的标记只需要很少的比特来编码。通过使用滑动上下文窗口,llama-zip不受LLM上下文长度的限制,可以压缩任意长度的字符串。此外,通过使用Unicode私用区的码点来编码无效的UTF-8字节,llama-zip不仅限于文本输入,还可以处理任意二进制数据,尽管与文本输入相比压缩率会降低。

压缩性能

下表比较了llama-zip在Calgary语料库的文本文件(以及llama-zip自身的源代码llama_zip.py)上达到的压缩率与其他流行或高性能压缩工具的压缩率。压缩率通过将未压缩输入的字节数除以压缩输出的字节数来计算,因此更高的值表示更有效的压缩。

对于llama-zip,在两种上下文长度下对两个LLM进行了基准测试,窗口重叠率保持在25%(更多信息请参见选项):

• Phi-3.1-mini-128k-instruct (Q4_K_M)
  • 8192标记上下文长度(表中为"phi-8k")
  • 32768标记上下文长度(表中为"phi-32k")
• Llama-3.1-8B (Q4_K_M)
  • 8192标记上下文长度(表中为"llama-8k")
  • 32768标记上下文长度(表中为"llama-32k")

对于其他工具,使用了它们提供的最高压缩级别。

每个文件的最佳压缩器以粗体显示,第二佳以下划线标注。列按所有文件上达到的平均压缩率排序,整体表现更好的压缩器列在左侧。

这些结果表明,llama-zip可以显著优于传统压缩工具,至少在测试的LLM和文件上是如此。但请注意,超过某个点后,增加上下文长度可能不会带来更好的压缩率,这一点从Llama 3.1在8k标记上下文长度下的平均表现优于32k标记上下文长度就可以看出。由于内存和时间限制,未测试超过32k标记的上下文长度。

安装

git clone https://github.com/alexbuz/llama-zip.git
cd llama-zip
pip3 install .

LLM下载

要使用llama-zip,您必须下载一个与llama.cpp兼容的LLM,例如Llama 3.1 8B。确保下载量化版本(在Hugging Face的"Files and versions"标签中列出的.gguf文件之一),且小到足以适合您系统的内存。

命令行使用

llama-zip <llm_path> [选项] <模式> [输入]

模式

llama-zip支持三种操作模式:

1. 压缩模式(由-c或--compress标志指定):要压缩的字符串可以作为参数提供或通过stdin管道输入。压缩输出将写入stdout。
2. 解压模式(由-d或--decompress标志指定):压缩的字符串可以作为参数提供或通过stdin管道输入。解压输出将写入stdout。
3. 交互模式(由-i或--interactive标志指定):显示一个提示,用户可以输入要压缩或解压的字符串。当输入base64编码的字符串时,它将被视为表示压缩数据并进行解压;否则,它将被压缩。每次压缩或解压操作后,会提示用户输入另一个字符串。要退出交互模式,请按Ctrl+C。
   • **注意:**如果您想压缩一个完全由base64字符组成的字符串(即字母、数字、+和/,没有任何其他符号或空格),您必须直接使用压缩模式,因为交互模式假定base64编码的字符串是要解压的,如果输入不是来自压缩操作,将会产生无意义的输出。或者,如果您不介意将额外字符与字符串一起压缩,可以在字符串末尾添加一个非base64字符(如空格)。

选项

• -f，--compressed-format：压缩数据的格式。可以设置为binary（非交互模式下的默认值）或base64（交互模式下的默认值和唯一支持的格式）。
• -w，--window-overlap：当压缩的字符串长度超过模型的最大上下文长度时，前一个上下文窗口的结尾和下一个窗口的开始之间重叠的标记数。可以指定为模型上下文长度的百分比或固定的标记数。默认值为0%，意味着上下文窗口在填满时完全清空。较高的值可以提高压缩比，但会减慢压缩和解压缩速度。注意，在解压缩时，窗口重叠必须设置为与压缩时相同的值，以重建原始字符串。
• --n-ctx：用作模型上下文长度的标记数。必须小于或等于模型的最大上下文长度。如果设置为0（默认值），则将使用模型的最大上下文长度。注意，在解压缩时，上下文长度必须设置为与压缩时相同的值，以重建原始字符串。
• --n-gpu-layers：卸载到GPU的模型层数。这可以显著加快压缩和解压缩速度，特别是对于较大的模型。如果设置为-1（默认值），则所有层都将被卸载。更多信息请参见llama.cpp仓库。在实践中，压缩和解压缩时应卸载相同数量的层。
• --use-mlock：强制系统将整个模型保留在内存中。这对较大的模型可能有用，但如果模型太大，可能会导致系统内存不足。默认禁用。

示例

压缩

• 压缩文件：

  llama-zip /path/to/llm.gguf -c < input.txt > compressed.llzp
  

• 压缩字符串并以base64格式打印压缩输出：

  llama-zip /path/to/llm.gguf -f base64 -c "The quick brown fox jumps over the lazy dog."
  

解压缩

• 解压缩文件：

  llama-zip /path/to/llm.gguf -d < compressed.llzp > output.txt
  

• 解压缩base64编码的压缩字符串：

  llama-zip /path/to/llm.gguf -f base64 -d BASE64_STRING
  

交互模式

• 启动交互模式会话：

  llama-zip /path/to/llm.gguf -i
  

Colab笔记本

API使用

LlamaZip类可以用于以编程方式压缩和解压缩数据。compress方法接受一个bytes对象并返回另一个包含压缩数据的bytes对象。decompress方法接受一个包含压缩数据的bytes对象并返回原始未压缩数据。

from llama_zip import LlamaZip

# 初始化压缩器
compressor = LlamaZip(model_path="/path/to/model.gguf")

# 压缩一些数据
original = b"The quick brown fox jumps over the lazy dog."
compressed = compressor.compress(original)
assert len(compressed) < len(original)

# 解压缩数据
decompressed = compressor.decompress(compressed)
assert decompressed == original

LlamaZip构造函数还接受n_ctx、n_gpu_layers和use_mlock参数，这些参数对应于相同名称的CLI选项。window_overlap参数可以直接传递给compress和decompress方法，以指定该特定操作的窗口重叠。

限制

1. **速度：**压缩和解压缩速度受LLM推理速度的限制。这使得llama-zip比传统压缩工具明显慢。然而，对于某些用例，llama-zip实现的压缩比可能会证明这种速度上的权衡是合理的。
2. **可移植性：**llama-zip在压缩和解压缩过程中需要相同的LLM行为。然而，llama-zip用于LLM推理的后端llama.cpp目前不保证确定性行为。这限制了llama-zip压缩输出的可移植性，因为即使使用相同的模型，它也可能无法在不同的系统上解压缩。在实践中，行为还会因卸载到GPU的层数不同而有所不同，所以在压缩和解压缩时，除了窗口重叠（--window-overlap）和上下文长度（--n-ctx）选项外，--n-gpu-layers选项也应设置为相同的值。
3. **二进制压缩：**由于依赖LLM进行预测，llama-zip最适合压缩主要由文本组成的输入。虽然llama-zip可以通过使用Unicode私有使用区域的码点来编码无效的UTF-8字节来处理二进制数据，但它可能无法在这种数据上达到高压缩比，可能产生比原始输入更大的压缩输出。