InferLLM

InferLLM 项目介绍

InferLLM 是一个轻量级的LLM模型推理框架，主要参考和借鉴了llama.cpp项目。与之不同的是，llama.cpp的大部分核心代码和内核都集中在一个文件中，并使用大量宏定义，这使得代码难以阅读和修改。而InferLLM在这方面进行了改进，具有以下显著特点：

简单结构：InferLLM的架构设计简单且易于理解，开发者可以更快上手学习，并将框架部分与内核部分解耦。
高效性能：InferLLM移植了llama.cpp的多数内核，因此在执行效率上有显著优势。
专用存储：定义了专用的KV存储类型，方便缓存和管理数据。
格式兼容性：当前兼容多种模型格式，目前支持中文和英文的int4 Alpaca模型。
多平台支持：InferLLM能够在CPU和GPU上运行，针对Arm、x86、CUDA以及riscv-vector进行了优化，甚至可以在手机上部署，速度令人满意。

总的来说，InferLLM是一个简单高效的LLM CPU推理框架，可以在本地部署量化模型，并具备出色的推理速度。

如何使用

下载模型

InferLLM目前使用与llama.cpp相同的模型，可以从llama.cpp项目下载模型。此外，可以直接从Hugging Face kewin4933/InferLLM-Model获取模型。当前项目上传了两个Alpaca、Llama2、ChatGLM/ChatGLM2和Baichuan模型，其中一种为中文int4模型，另一种为英文int4模型。

编译InferLLM

本地编译

首先创建构建目录并启动cmake和make。

mkdir build
cd build
cmake ..
make

默认情况下GPU是禁用的，如果需要启用GPU，可以使用cmake -DENABLE_GPU=ON ..命令。在使用CUDA之前，请先安装CUDA工具包。

安卓交叉编译

对于交叉编译，可使用预准备的tools/android_build.sh脚本。在此之前，需要安装NDK并将NDK路径配置到NDK_ROOT环境变量中。

export NDK_ROOT=/path/to/ndk
./tools/android_build.sh

运行InferLLM

关于如何运行ChatGLM模型，请参考ChatGLM模型文档。

如果在本地执行，可直接运行：
```
./chatglm -m chatglm-q4.bin -t 4
```
如需在手机上执行，可以使用adb命令将alpaca及模型文件复制到手机上，然后执行：
```
adb shell ./chatglm -m chatglm-q4.bin -t 4
```

默认设备为CPU，若需使用GPU进行推理，请指定GPU设备：

./chatglm -m chatglm-q4.bin -g GPU

以下为示例配置：

x86平台: Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
安卓平台: 小米9，Qualcomm SM8150 Snapdragon 855
CPU配置: SG2042，带有riscv-vector 0.7，64线程

根据x86性能分析结果，强烈建议使用4个线程。

支持的模型

目前InferLLM支持以下模型：

ChatGLM2-6B: 使用方法参考ChatGLM文档
ChatGLM-6B: 使用方法参考ChatGLM文档
llama
llama2
alpaca
baichuan: 使用方法参考baichuan文档

许可证

InferLLM 依据Apache许可证2.0版本进行授权。