访问官网
Github
Huggingface
论文TinyLLM 项目介绍
TinyLLM项目是一个创新的尝试，它将大型语言模型（LLM）嵌入到有限的硬件环境中，同时保持可接受的性能。项目的目标是帮助用户在普通的消费级硬件上构建一个本地部署的LLM，并通过一个类似ChatGPT的网页界面进行交互。
项目主要功能
- 多LLM支持：TinyLLM支持多种大型语言模型，为用户提供丰富的选择。
- 本地API服务构建：通过使用Ollama、llama.cpp或vLLM等工具构建本地的OpenAI API服务。
- 聊天机器人界面：提供可定制的提示，支持访问外部网站、向量数据库以及其他信息源，如新闻、股票和天气等。
硬件要求
为了在本地运行TinyLLM，用户的硬件需要满足以下要求：
- 处理器：支持Intel、AMD或者Apple Silicon
- 内存：至少8GB DDR4
- 存储：至少128GB SSD
- 显卡：需要NVIDIA GPU（如GTX 1060 6GB，RTX 3090 24GB）或Apple M1/M2
- 操作系统：支持Ubuntu Linux和MacOS
- 软件：需要Python 3和CUDA 12.2版本
快速开始
目前项目的快速启动脚本尚在开发中，可以通过手动设置来运行项目。
手动设置
要开始使用TinyLLM，首先需要克隆项目代码：
# 克隆项目源码
git clone https://github.com/jasonacox/TinyLLM.git
cd TinyLLM
运行本地的LLM
要在本地运行LLM，需要为模型设置一个推理服务器。项目推荐使用vLLM、llama-cpp-python以及Ollama，这些工具提供了兼容OpenAI API的本地网络服务器，方便与其他工具整合。
Ollama服务器
Ollama简化了LLM的安装及运行，适用于MacOS、Linux和Windows等多种平台，但每次只能处理一个会话。下面是使用Ollama的基本步骤：
# 安装和运行Ollama服务器
docker run -d --gpus=all \
-v $PWD/ollama:/root/.ollama \
-p 11434:11434 \
-p 8000:11434 \
--restart unless-stopped \
--name ollama \
ollama/ollama
# 下载并测试运行llama3模型
docker exec -it ollama ollama run llama3
# 告诉服务器保持模型加载在GPU中
curl http://localhost:11434/api/generate -d '{"model": "llama3", "keep_alive": -1}'
Ollama支持多种模型，如Phi-3 Mini和Mistral 7B等。
vLLM服务器
vLLM提供兼容OpenAI API的强大网络服务器，支持多线程推理。它从HuggingFace自动下载模型，适合需要处理多种会话且具有强大GPU硬件的用户。
# 构建容器
cd vllm
./build.sh
# 创建存储模型的目录
mkdir models
# 编辑run.sh或run-awq.sh以选择将使用的模型。默认使用Mistral模型
./run.sh
llama-cpp-python服务器
llama-cpp-python提供简单易用的API兼容网络服务器，主要适用于较小VRAM的消费者级GPU。
# 卸载旧版本
pip3 uninstall llama-cpp-python -y
# Linux目标配置
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip3 install llama-cpp-python==0.2.27 --no-cache-dir
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip3 install llama-cpp-python[server]==0.2.27 --no-cache-dir
运行聊天机器人
TinyLLM聊天机器人是基于Python FastAPI的简单网页应用程序，支持多会话并记住对话历史。它还提供了丰富的信息获取功能，如新闻摘要、股票查询和天气信息等。
# 进入聊天机器人文件夹
cd ../chatbot
touch prompts.json
# 拉取并运行最新容器
docker run \
-d \
-p 5000:5000 \
-e PORT=5000 \
-e OPENAI_API_BASE="http://localhost:8000/v1" \
-e LLM_MODEL="tinyllm" \
-v $PWD/.tinyllm:/app/.tinyllm \
--name chatbot \
--restart unless-stopped \
jasonacox/chatbot
例子会话
用户可通过访问http://localhost:5000来体验与聊天机器人的互动。
手动设置
不使用docker的情况下，可以手动测试聊天机器人服务器：
# 安装所需软件包
pip3 install fastapi uvicorn python-socketio jinja2 openai bs4 pypdf requests lxml aiohttp
# 运行聊天机器人服务器
python3 server.py
LLM模型
TinyLLM支持多种LLM模型，每种模型有其特点，用户可根据需求在llmserver和vLLM中选择适合的模型。
通过上面的介绍，可以看出TinyLLM项目致力于使大型语言模型更易于在普通硬件上实施，同时提供了简单的用户界面和强大的扩展功能。
