项目介绍: GenossGPT
GenossGPT 是一个开源的创新项目,旨在提供一个用于替代 OpenAI 模型(如 GPT 3.5 和 GPT 4)的无缝解决方案,采用了类似 GPT4ALL 这样的开源模型。这一项目的启动得益于 Sicarator 的基础支持。
项目特色
- 开源性:Genoss 是基于开源模型(如 GPT4ALL)构建的。
- 一行代码替换:Genoss 提供了一个只需一行代码即可替代 OpenAI ChatGPT API 的解决方案。
项目演示
用户可以利用 GPT4ALL 进行聊天完成和嵌入操作,详细演示可以在项目的资源库中查看。
支持的模型
- 目前支持 GPT4ALL 模型和嵌入,将来会支持更多模型。
使用指南
在开始之前,请确保您的计算机已安装 Python 3.11 或更高版本。
安装服务器
推荐使用 pip 进行安装:
pip install genoss
如果要安装最新版本:
pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main#egg=genoss
运行服务器:
genoss-server
访问 API 文档可通过浏览器打开 http://localhost:4321/docs
。
模型安装
- 克隆 GPT4ALL 仓库:
git clone --recurse-submodules git@github.com:nomic-ai/gpt4all.git
- 进入后台目录并进行项目配置和构建:
cd gpt4all/gpt4all-backend/
mkdir build && cd build
cmake ..
cmake --build . --parallel
-
确认
libllmodel.*
文件存在。 -
回到根目录并安装 Python 包:
cd ../../gpt4all-bindings/python
pip3 install -e .
- 下载模型并将其放入
local_models
目录。
应用运行
需要安装 poetry 配合正确的 Python 版本 (3.11)。
poetry install
启动方式:
poetry install --only main,llms
uvicorn main:app --host 0.0.0.0 --port 4321
此命令将在您的计算机上的 4321 端口启动 Genoss 应用。
Web 应用演示运行
在 demo/
目录中:
cp .env.example .env
PYTHONPATH=. streamlit run demo/main.py
Genoss API 使用
Genoss API 是 OpenAI ChatGPT API 的一行代码替换方案,它支持相同的参数并返回相同的响应格式。只需将 OpenAI 的 API 端点替换为 Genoss 的 API 端点即可。您可以在 /docs
或 /redoc
找到详细的 API 文档。
未来发展
目前仅支持 GPT4ALL 模型,但未来会增加更多模型及功能,敬请期待。
项目愿景包括允许用户在本地运行模型,支持 HuggingFace 等工具,以及提供完整的云解决方案支持和用户管理功能。
项目历史
Genoss 的灵感来源于 Stan Girard(StanGirard),由于 Quivr 的功能复杂且难以维护,因此萌生了为每个模型提供与 OpenAI ChatGPT API 相同的简单 API 的想法。随后,@mattzcarey、@MaximeThoonsen、@Wirg 和 @StanGirard 一起推动了这个项目的发展并将其变为现实。
贡献
Genoss 感谢所有贡献者们的帮助和支持。欢迎提交问题或拉取请求,个人贡献可以访问项目的 贡献者图片墙。
赞助商
感谢以下赞助商的支持:
许可证
Genoss 根据 Apache2 许可证进行许可,详细信息请参阅 LICENSE 文件。