Alpaca Electron
Alpaca Electron 从头开始构建,旨在成为与 Alpaca AI 模型聊天的最简单方式。无需命令行或编译!
重要:
目前仅支持 Windows。尚未为其他平台构建支持 GGUF 的新 llama.cpp 二进制文件。
如果你愿意帮忙,请提交 pull request 并更新 ./bin
目录中的二进制文件。
📃 功能 + 待办事项
- 在本地运行,除下载模型外不需要互联网连接
- 紧凑高效,因为它使用 llama.cpp 作为后端(也支持 Alpaca 和 Vicuna)
- 在 CPU 上运行,任何人都可以在没有昂贵显卡的情况下运行它
- 不需要外部依赖项,安装程序中包含所有内容
- “借用”了那个流行聊天 AI 的用户界面 :trollface:
- 支持 Windows、MacOS 和 Linux(未经测试)
- Docker 化 🐋
- 上下文记忆
- 聊天记录
- 与 Stable Diffusion 集成
- DuckDuckGo 集成用于网络访问
- GPU 加速(cuBLAS 和 openBLAS)
🎞 演示
🚀 快速入门指南
- 下载一个 Alpaca 模型(推荐使用 7B native),并将其放置在电脑中容易找到的位置。
注意
本库不提供下载链接。
-
从 发布页面 下载最新的安装程序。
-
打开安装程序并等待安装完成。
-
安装完成后,它会要求输入模型的有效路径。现在,找到你放置模型的位置,按住 shift,右键单击文件,然后选择“复制为路径”。然后,将其粘贴到对话框中并点击
确认
。 -
程序将自动重启。现在你可以开始聊天了!
注意
该程序也接受任何其他 4-bit 量化的 .bin 模型文件。如果你能找到其他 .bin 格式的 Alpaca 模型文件,可以用它们替代快速入门指南中推荐的模型,以尝试不同的模型。如往常一样,请注意从互联网下载的文件安全性。
🔧 故障排除
常见问题
- 如果粘贴模型文件路径时出现“文件路径无效”错误,可能是由于路径拼写错误。请尝试重新复制路径或使用文件选择器。
- 如果出现“无法加载模型”错误,可能是模型损坏或不兼容。请尝试重新下载模型。
- 如果遇到其他未列出的问题,请在页面顶部的 "Issues" 标签中创建问题。详细描述所发生的情况,并附上截图。
Windows
- 如果模型已加载到 RAM 中但文本生成似乎没有开始,检查 你的 CPU 是否兼容 AVX2 指令集。如果不支持 AVX2,Alpaca Electron 将使用 AVX,速度较慢,请耐心等待。
- 如果收到“缺少 vcruntime140_1.dll”错误或未发生任何事情且模型未加载到 RAM 中,请尝试安装 Microsoft Visual C++ Redistributable。
MacOS
- 如果出现错误提示“无法打开应用程序,因为它来自未识别的开发者。”,请前往 Applications 文件夹。然后,按住 control 键并点击应用程序。然后点击“打开”,当弹出警告时再次点击“打开”。你的偏好设置将被保存,MacOS 将允许你正常打开该应用程序。
- 如果上述方法不起作用,请在终端中运行以下命令:
xattr -cr /Applications/Alpaca\ Electron.app/
Linux
-
你可以从发布页面下载预构建的应用程序(打包为 tar.gz),解压并使用
./"alpaca electron"
运行,或者自己构建应用程序。 -
如果你想自己构建应用程序:
克隆仓库:
git clone https://github.com/ItsPi3141/alpaca-electron.git
将当前目录更改为 alpaca-electron:
cd alpaca-electron
安装应用程序特定的依赖项:
npm install --save-dev
构建应用程序:
npm run linux-x64
将当前目录更改为构建目标:
cd release-builds/'Alpaca Electron-linux-x64'
使用
./'Alpaca Electron'
运行应用程序。
Docker Compose
- 你可以使用 docker compose 运行此 electron 应用程序。为此,你需要完成以下步骤:
克隆仓库:
git clone https://github.com/ItsPi3141/alpaca-electron.git
将当前目录更改为 alpaca-electron:
cd alpaca-electron
构建容器镜像:
docker compose build
运行应用程序容器:
docker compose up -d
- 如果没有打开窗口,请运行
docker compose up
(不带 -d)。如果出现类似Authorization required, but no authorization protocol specified
的错误,在你的 docker 主机上运行xhost local:root
。
⚒️ 构建
先决条件
(可选) 从源代码构建 llama.cpp
- 克隆 llama.cpp 的 GitHub 仓库
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
- 构建 llama.cpp 在 Windows 上:
mkdir build
cd build
cmake ..
cmake . --config Release
在 Linux 和 MacOS 上:
make
从源代码运行项目
- 克隆 GitHub 仓库
git clone https://github.com/ItsPi3141/alpaca-electron
cd alpaca-electron
- 安装 node 包
npm install
npm run rebuild
信息 如果你使用的是 Linux,请用
npm run rebuild-linux
替换npm run rebuild
- (可选) 使用你自己的 llama.cpp 构建
警告
此步骤不是必需的