llama-tokenizer-js：为LLaMA模型打造的高效JavaScript tokenizer

llama-tokenizer-js

llama-tokenizer-js简介

llama-tokenizer-js是一个专为LLaMA（Large Language Model Meta AI）语言模型设计的JavaScript tokenizer。它的出现填补了Web应用中LLaMA模型token计数的空白，为开发者提供了一个高效、准确的客户端tokenizer解决方案。

主要特性

易于使用：零依赖，代码和数据被打包into到一个单独的文件中。
广泛兼容：支持大多数基于LLaMA的模型，包括LLaMA 1和LLaMA 2。
高效运行：采用高效的BPE（Byte Pair Encoding）实现，确保快速的token处理。
优化的包大小：在压缩前仅670KiB，经过高效的二进制格式压缩和base64编码处理。
客户端运行：可在浏览器中运行，无需服务器支持。
TypeScript支持：提供类型定义，方便TypeScript项目使用。

安装与使用

安装

推荐通过npm安装并作为ES6模块导入：

npm install llama-tokenizer-js

基本使用

安装完成后，可以通过以下方式在代码中使用：

import llamaTokenizer from 'llama-tokenizer-js'

// 编码
const encoded = llamaTokenizer.encode("Hello world!")
console.log(encoded) // 输出: [1, 15043, 3186, 29991]

// 解码
const decoded = llamaTokenizer.decode([1, 15043, 3186, 29991])
console.log(decoded) // 输出: 'Hello world!'

在浏览器中使用

对于需要在浏览器中直接使用的场景，可以通过<script>标签加载：

<script type="module" src="https://belladoreai.github.io/llama-tokenizer-js/llama-tokenizer.js"></script>

与其他tokenizer的比较

llama-tokenizer-js的出现解决了Web应用中LLaMA模型token计数的难题。在此之前，开发者通常面临以下选择：

使用不兼容的tokenizer：许多Web应用使用OpenAI的tokenizer（如tiktoken和gpt-tokenizer），但这些与LLaMA不兼容，可能导致高达20%的token计数差异。
服务器端token计数：一些应用通过网络调用运行Hugging Face transformers tokenizer的Python应用。这种方法存在明显的延迟问题，特别是在需要多次调用以适应上下文限制时。
其他LLaMA tokenizer：自llama-tokenizer-js发布以来，也出现了其他替代方案，如transformers.js，它通过集成llama-tokenizer-js来提供LLaMA tokenizer功能。

llama-tokenizer-js的优势

客户端高效性：在浏览器中进行token计数仅需约1ms，远快于服务器端方案。
准确性：专为LLaMA模型设计，确保token计数的准确性。
低延迟：避免了网络请求带来的延迟，特别适合需要反复调整prompt以适应上下文限制的场景。
易于集成：作为纯JavaScript库，可以轻松集成到现有的Web项目中。

兼容性与适用范围

llama-tokenizer-js使用SentencePiece Byte-Pair Encoding tokenizer，与Facebook在2023年3月（LLaMA）和7月（LLaMA2）发布的模型权重训练的所有LLaMA模型兼容。

兼容的模型示例包括：

llama2-13b-4bit-gptq
wizard-vicuna-13b-uncensored-gptq
manticore-7b-ggml

需要注意的是，从头训练而不是基于Facebook发布的检查点训练的LLaMA模型（如OpenLLaMA）与此tokenizer不兼容。

自定义与扩展

对于需要支持新的LLaMA tokenizer的情况，llama-tokenizer-js提供了灵活的自定义选项。开发者可以通过替换词汇表和合并数据来适配新的tokenizer。项目还提供了一个Python脚本，方便进行数据转换。

import { LlamaTokenizer } from 'llama-tokenizer-js'
const tokenizer = new LlamaTokenizer(custom_vocab, custom_merge_data);

结论

llama-tokenizer-js为使用LLaMA模型的Web应用提供了一个强大的工具。它不仅解决了token计数的准确性问题，还大大提高了性能，减少了延迟。对于需要在客户端进行精确token计数的开发者来说，这是一个不可多得的解决方案。

随着大语言模型在Web应用中的广泛应用，llama-tokenizer-js的重要性将越发凸显。它为开发者提供了一种高效、准确的方法来处理LLaMA模型的token，从而能够更好地控制和优化模型输入，提高应用的整体性能和用户体验。

未来，随着LLaMA模型的进一步发展和新版本的发布，我们可以期待llama-tokenizer-js会继续更新和优化，以支持更多的模型变体和use cases。对于那些致力于将先进的NLP技术整合到Web应用中的开发者来说，密切关注这个项目的发展将是非常有价值的。