项目介绍:Open Assistant API
Open Assistant API 是一个开源的、可自托管的 AI 智能助手 API,兼容官方的 OpenAI 接口。开发者可以使用 OpenAI 提供的 Python 客户端库来构建大语言模型(LLM)应用。此外,该 API 还支持与更多商业和私有模型集成的 One API,以及 R2R RAG 引擎的支持。
使用指南
使用 Open Assistant API 非常简单。以下是一个通过 OpenAI 官方 Python 客户端库运行的示例:
import openai
client = openai.OpenAI(
base_url="http://127.0.0.1:8086/api/v1",
api_key="xxx"
)
assistant = client.beta.assistants.create(
name="demo",
instructions="You are a helpful assistant.",
model="gpt-4-1106-preview"
)
为什么选择 Open Assistant API
- 生态战略:作为开源项目,开发者可以选择本地部署服务并进行功能扩展。
- RAG 引擎:支持 R2R RAG 引擎,对于 txt、html、markdown、pdf、docx、pptx、xlsx、png、mp3、mp4 等类型文件有初步实现。
- 互联网搜索:支持在线搜索,并且可以轻松扩展更多工具。
- 支持更多 LLM:与官方 OpenAI 版本相比,通过与 One API 集成可以支持更多的模型。
- 消息流输出:支持流式输出消息,为用户提供更流畅的体验。
快速启动
启动 Open Assistant API 的最简单方法是运行 docker-compose.yml
文件。在此之前,请确保你的计算机上安装了 Docker 和 Docker Compose。
配置
进入项目根目录,打开 docker-compose.yml
文件,并填写 OpenAI API 密钥和(可选的)Bing 搜索密钥。
# openai api_key (支持 OneAPI api_key)
OPENAI_API_KEY=<openai_api_key>
# bing search key (optional)
BING_SUBSCRIPTION_KEY=<bing_subscription_key>
建议配置 R2R RAG 引擎以替换默认的 RAG 实现,从而提供更好的 RAG 功能。
运行
使用 Docker Compose 运行:
docker compose up -d
访问 API
API 的基本 URL 是 http://127.0.0.1:8086/api/v1
,接口文档可以通过 http://127.0.0.1:8086/docs
访问。
工具集成
依据 OpenAPI/Swagger 规范,项目允许将各种工具集成到助手中,以提升其与外部世界连接的能力。
- 帮助应用程序与其他系统或服务连接,实现与外部环境的交互,比如代码执行或访问专有信息源。
- 在使用过程中,需要先创建工具,然后将其与助手集成。如需使用含有认证信息的工具,只需在运行时添加认证信息。有关具体的参数格式,请参见 API 文档。
社区与支持
致谢
该项目主要参考并依赖以下开源项目:
贡献
请阅读 贡献文档 以了解如何贡献。
开源许可证
该项目遵循 MIT 开源许可证。欲了解更多信息,请参阅 LICENSE 文件。