为语言注入生命

aphrodite

Aphrodite是PygmalionAI的官方后端引擎。它被设计用作PygmalionAI网站的推理端点，并允许以极快的速度（得益于vLLM的Paged Attention）为大量用户提供Pygmalion模型服务。

Aphrodite建立在并整合了多个项目的杰出工作。

Aphrodite开发所需的计算资源由Arc Compute提供。

特性

安装引擎：

pip install -U aphrodite-engine --extra-index-url https://downloads.pygmalion.chat/whl

[!重要]
如果你需要最新功能，如Llama 3.1支持，你需要构建发布候选分支。

直接安装：

pip install -U aphrodite-engine@git+https://github.com/PygmalionAI/aphrodite-engine.git@rc_054

或克隆并构建（推荐）：

git clone -b rc_054 https://github.com/PygmalionAI/aphrodite-engine.git && cd aphrodite-engine
pip install -e .

然后启动一个模型：

aphrodite run meta-llama/Meta-Llama-3-8B-Instruct

这将创建一个OpenAI兼容的API服务器，可以在本地主机的2242端口访问。你可以将API插入到支持OpenAI的UI中，比如SillyTavern。

请参阅wiki获取完整的参数和标志列表，你可以传递给引擎。

你可以在这里的演示中试用引擎：

此外，我们提供了一个Docker镜像以便于部署。以下是一个基本命令来帮助你开始：

sudo docker run -d -e MODEL_NAME="mistralai/Mistral-7B-Instruct-v0.2" -p 2242:2242 --gpus all --ipc host alpindale/aphrodite-engine

这将拉取Aphrodite Engine镜像（约9GiB下载），并在2242端口启动带有Mistral-7B模型的引擎。查看这里获取完整的环境变量列表。

查看这里获取用于Docker Compose的Compose文件。

对于Windows用户，如果不需要批处理支持，建议使用tabbyAPI。

有关支持的GPU，请参见这里。一般来说，所有半现代GPU都受支持 - 最低至Pascal（GTX 10xx、P40等）。

关于使用，请参阅wiki页面获取详细说明。Aphrodite为LLM推理提供了许多不同的选项，所以请阅读这里的选项列表。

速度因不同的GPU、模型大小、量化方案、批处理大小等而异。以下是通过从API服务器请求尽可能多的完成来进行的一些基准测试。

这些是用户在请求单个输出时通常会获得的速度，包括相当大的提示和输出长度。本质上是正常的聊天体验。

以下结果是通过发送8192个提示令牌并请求1024个令牌（设置ignore_eos=True）的请求获得的。

GPU：NVIDIA A40，Mistral 7B。基准是使用text-generation-webui以FP16加载的相同模型。

正在进行中。

默认情况下，Aphrodite会占用GPU 90%的VRAM。如果你不是在大规模服务LLM，你可能想限制它占用的内存量。你可以在API示例中通过使用--gpu-memory-utilization 0.6（0.6表示60%）来启动服务器。
你可以通过运行aphrodite run --help查看完整的命令列表。
大多数模型支持通过RoPE方法进行上下文长度扩展。使用命令行标志--max-model-len指定所需的上下文长度，引擎将相应地调整RoPE缩放。
如果遇到问题，请参阅FAQ和问题。如果你在那里找不到答案，请提出一个issue。

没有其他开源项目的杰出工作，Aphrodite Engine就不可能实现。感谢以下项目：

欢迎每个人贡献。你可以通过为新功能、修复或一般的用户体验改进开启拉取请求来支持项目。