RestAI简介
RestAI是一个开源的AI即服务(AIaaS)平台，旨在让每个人都能轻松创建AI项目并通过简单的REST API来使用。它构建在LlamaIndex、Ollama和HuggingFace Pipelines之上，支持LlamaIndex支持的任何公共LLM和Ollama支持的任何本地LLM。
主要特性
-
多样化的项目类型：RestAI支持多种类型的AI代理（项目），包括RAG、RAGSQL、推理、视觉、路由器和Agent等。
-
用户管理：系统使用基本身份验证，每个用户可以访问多个项目。
-
广泛的LLM支持：支持LlamaIndex支持的任何公共LLM，包括Ollama、LiteLLM等支持的本地LLM。
-
自动VRAM管理：RestAI会根据需要自动加载和卸载模型，有效管理VRAM使用。
-
完善的API文档：所有API端点都使用Swagger进行了详细文档化。
-
前端支持：提供了一个专门的前端项目restai-frontend。
项目类型详解
1. RAG（检索增强生成）
- 支持多种嵌入模型和向量存储
- 提供嵌入搜索和评分评估器
- 支持"沙盒模式"，减少幻觉
2. RAGSQL
- 支持MySQL和PostgreSQL连接
- 自动爬取数据库架构，实现问题到SQL的转换
3. 视觉
- 支持文本到图像、图像到文本和图像到图像的转换
- 集成了Stable Diffusion、DALL-E、LLaVA等模型
4. 路由器
- 将消息路由到最合适的项目
- 类似于Zero Shot React策略
快速开始
-
安装依赖：
pip install poetry make install -
开发模式运行：
make dev -
生产模式运行：
make start -
Docker部署：
docker compose --env-file .env up --build
学习资源
- 官方Demo（用户名：demo，密码：demo）
- API文档
- Swagger/OpenAPI文档
- GitHub仓库
- 前端项目源码
RestAI为开发者提供了一个强大而灵活的AI开发平台。无论您是想构建RAG系统、视觉AI应用还是复杂的AI代理，RestAI都能满足您的需求。通过其完善的文档和示例，您可以快速上手并开始构建您的AI项目。探索RestAI，开启您的AI之旅吧！
