llama.go: 纯Go语言实现的LLaMA模型推理框架

llama.go:让大语言模型在普通硬件上飞起来

在人工智能和自然语言处理领域,大语言模型(Large Language Models, LLMs)正在引领一场革命。然而,运行这些庞大的模型通常需要昂贵的GPU集群和大量的计算资源,这对许多研究者和开发者来说是一个巨大的障碍。为了解决这个问题,一个名为llama.go的开源项目应运而生,它的目标是让更多人能够在普通硬件上运行和调试大型GPT模型。

项目背景与动机

llama.go项目的创始人Serge Gotsuliak在GitHub上分享了他的愿景:"我们梦想着这样一个世界,机器学习爱好者们能够在自己的家庭实验室里研究真正庞大的GPT模型,而不需要消耗大量金钱在GPU集群上。"

这个项目的代码基于Georgi Gerganov开发的著名ggml.cpp框架,后者以C++语言编写,以高性能和优雅著称。llama.go项目选择使用Go语言重新实现,希望在保持性能的同时,能够让更多开发者参与进来。

主要特点与功能

纯Go语言实现:不依赖C++或其他语言,便于跨平台部署和维护。
支持多种LLaMA模型:目前支持7B、13B等不同规模的LLaMA模型。
多线程推理:充分利用多核CPU进行并行计算,提高推理速度。
内存优化:通过优化内存使用和垃圾回收,使大模型能在普通硬件上运行。
服务器模式:内置HTTP服务器,提供REST API接口,便于集成到实际项目中。
交互式聊天模式:支持与模型进行实时对话。
硬件加速:支持x64 AVX2和ARM NEON指令集优化,提升性能。

llama.go terminal screenshot

使用方法

要开始使用llama.go,首先需要获取预训练的LLaMA模型文件。项目提供了两个转换好的模型下载链接:

LLaMA-7B: llama-7b-fp32.bin
LLaMA-13B: llama-13b-fp32.bin

这些模型使用32位浮点数(FP32)存储权重,因此LLaMA-7B模型需要至少32GB内存,LLaMA-13B则需要64GB内存。

接下来,你可以从源代码编译llama.go,或直接下载预编译的二进制文件:

有了可执行文件和模型后,就可以开始使用了。以MacOS为例,运行以下命令:

./llama-go-v1.4.0-macos \
    --model ~/models/llama-7b-fp32.bin \
    --prompt "Why Golang is so popular?" \

命令行参数

llama.go提供了多个命令行参数来控制模型的行为:

--prompt: 用户输入的文本提示
--model: LLaMA模型文件的路径
--server: 启动服务器模式,作为REST API端点
--host: 服务器模式下允许的主机(默认为localhost)
--port: 服务器模式下监听的端口(默认为8080)
--pods: 服务器模式下允许的最大并行执行单元数(默认为1)
--threads: 调整要使用的CPU核心数(默认使用所有核心)
--context: 上下文大小(以token为单位,默认为1024)
--predict: 预测的token数量(默认为512)
--temp: 模型温度超参数(默认为0.5)
--silent: 隐藏欢迎logo和其他输出
--chat: 以交互模式与用户聊天
--profile: 运行时分析CPU性能并将结果存储到cpu.pprof文件
--avx: 启用Intel和AMD机器的x64 AVX2优化
--neon: 启用Apple Mac和ARM服务器的ARM NEON优化

服务器模式

llama.go内置了一个HTTP服务器,可以作为REST API使用。要启用服务器模式,使用以下命令:

./llama-go-v1.4.0-macos \
    --model ~/models/llama-7b-fp32.bin \
    --server \
    --host 127.0.0.1 \
    --port 8080 \
    --pods 4 \
    --threads 4

pods参数设置可以并行运行的推理实例数,threads参数设置每个pod内用于张量计算的核心数。根据你的硬件配置和需求,合理设置这些参数可以优化性能。

REST API示例

提交新任务:

向服务器发送POST请求,JSON格式包含唯一的UUID v4和提示文本:

{
    "id": "5fb8ebd0-e0c9-4759-8f7d-35590f6c9fc3",
    "prompt": "Why Golang is so popular?"
}

检查任务状态:

发送GET请求到 http://host:port/jobs/status/:id
获取结果:

发送GET请求到 http://host:port/jobs/:id

从源码构建

如果你想从源码构建llama.go,首先需要安装Go语言环境和git。然后按以下步骤操作:

克隆仓库:

git clone https://github.com/gotzmann/llama.go.git
cd llama.go

安装依赖:
```
go mod tidy
go mod vendor
```

编译:

go build -o llama-go-v1.exe -ldflags "-s -w" main.go

未来规划

llama.go项目有着雄心勃勃的发展计划,包括:

支持更大规模的LLaMA模型(30B, 65B等)
实现LLaMA V2模型架构
支持INT8量化,允许在相同内存下运行4倍大的模型
支持流行的LLaMA家族模型,如Vicuna、Alpaca等
实现交互式聊天模式
支持Nvidia GPU加速
允许模型训练和微调
支持AMD Radeon GPU加速

结语

llama.go项目为机器学习爱好者和研究者提供了一个强大而灵活的工具,让他们能够在普通硬件上探索和实验大型语言模型。通过纯Go语言实现,项目不仅保持了高性能,还提高了可访问性和可扩展性。随着项目的不断发展和完善,我们可以期待看到更多创新应用和突破性研究从中诞生。

无论你是机器学习研究者、自然语言处理工程师,还是对大语言模型感兴趣的开发者,llama.go都值得一试。它不仅可以帮助你深入理解LLaMA模型的工作原理,还能激发你在实际项目中应用大语言模型的灵感。让我们一起期待llama.go项目的未来发展,见证它如何推动大语言模型技术的普及和创新。