LLM-VM入门指南 - 开源AGI服务器让LLM拥有超能力

LLM-VM:让大语言模型拥有超能力的开源AGI服务器

LLM-VM是Anarchy Labs开发的一个开源AGI(通用人工智能)服务器,旨在为开源大语言模型(LLM)提供超能力和超速度。本文将介绍LLM-VM的主要特性、安装使用方法以及相关学习资源,帮助读者快速上手这个强大的AGI开发工具。

什么是LLM-VM?

LLM-VM是一个高度优化的后端,用于运行具有所有现代功能的大语言模型,包括:

工具使用
持久状态记忆
实时数据增强
数据和任务微调
输出模板化
Web交互界面
API接口
学生-教师蒸馏
数据合成
负载均衡和编排
大上下文窗口模拟

从形式上讲,它是一个人类语言的虚拟机/解释器,在数据、模型(CPU)、提示(代码)和工具(IO)之间进行协调。

LLM-VM架构

为什么使用LLM-VM?

使用LLM-VM可以获得以下好处:

加速AGI开发:一个接口即可与最新的LLM交互
降低成本:本地运行模型可以减少按需付费的开发和测试成本
灵活性:可以在流行模型之间快速切换,找到最适合项目的工具
社区氛围:加入充满热情的开发者和工程师社区,共同推动AGI民主化
所见即所得:开源意味着没有隐藏,我们追求透明度和效率,让您专注于构建

主要特性

隐式代理: 只需提供工具描述,即可通过REBEL等代理使用外部工具
推理优化: 从代理级别到汇编级别进行优化,提供最快的框架
任务自动优化: 分析用例中的重复任务,激活学生-教师蒸馏训练高效小模型
库调用: 提供可直接在Python代码中使用的库
HTTP端点: 提供独立的HTTP服务器来处理补全请求
实时数据增强: (规划中)可提供实时更新的数据集,进行模型微调或向量数据库查询
Web交互界面: (规划中)可在浏览器中运行LLM-VM并测试输出
负载均衡和编排: (规划中)自动优化多个LLM或提供商的使用
输出模板化: (规划中)确保LLM仅以特定格式输出数据
持久状态记忆: (规划中)记住用户的对话历史并做出相应反应

快速开始

安装要求

Python >=3.10
RAM: 16GB以上(因模型而异)

安装方法

最快的方法是在Python环境中运行:

pip install llm-vm

或者克隆仓库并安装:

git clone https://github.com/anarchy-ai/LLM-VM.git
cd LLM-VM
./setup.sh

生成补全

from llm_vm.client import Client

# 选择要使用的LLM
client = Client(big_model = 'chat_gpt')

# 输入提示并获取响应
response = client.complete(prompt = 'What is Anarchy?', context = '', openai_key = 'YOUR_API_KEY')
print(response)

本地运行LLM

from llm_vm.client import Client

# 选择LlaMA 2模型
client = Client(big_model = 'llama2')

# 输入提示并获取响应
response = client.complete(prompt = 'What is Anarchy?', context = '')
print(response)