RestAI简介

RestAI是一个开源的AI即服务(AIaaS)平台，旨在让每个人都能轻松创建AI项目并通过简单的REST API来使用。它构建在LlamaIndex、Ollama和HuggingFace Pipelines之上，支持LlamaIndex支持的任何公共LLM和Ollama支持的任何本地LLM。

主要特性

1. 多样化的项目类型：RestAI支持多种类型的AI代理（项目），包括RAG、RAGSQL、推理、视觉、路由器和Agent等。

2. 用户管理：系统使用基本身份验证，每个用户可以访问多个项目。

3. 广泛的LLM支持：支持LlamaIndex支持的任何公共LLM，包括Ollama、LiteLLM等支持的本地LLM。

4. 自动VRAM管理：RestAI会根据需要自动加载和卸载模型，有效管理VRAM使用。

5. 完善的API文档：所有API端点都使用Swagger进行了详细文档化。

6. 前端支持：提供了一个专门的前端项目restai-frontend。

项目类型详解

1. RAG（检索增强生成）

• 支持多种嵌入模型和向量存储
• 提供嵌入搜索和评分评估器
• 支持"沙盒模式"，减少幻觉

2. RAGSQL

• 支持MySQL和PostgreSQL连接
• 自动爬取数据库架构，实现问题到SQL的转换

3. 视觉

• 支持文本到图像、图像到文本和图像到图像的转换
• 集成了Stable Diffusion、DALL-E、LLaVA等模型

4. 路由器

• 将消息路由到最合适的项目
• 类似于Zero Shot React策略

快速开始

1. 安装依赖：

   pip install poetry
   make install
   

2. 开发模式运行：

   make dev
   

3. 生产模式运行：

   make start
   

4. Docker部署：

   docker compose --env-file .env up --build
   

学习资源

1. 官方Demo（用户名：demo，密码：demo）
2. API文档
3. Swagger/OpenAPI文档
4. GitHub仓库
5. 前端项目源码

RestAI为开发者提供了一个强大而灵活的AI开发平台。无论您是想构建RAG系统、视觉AI应用还是复杂的AI代理，RestAI都能满足您的需求。通过其完善的文档和示例，您可以快速上手并开始构建您的AI项目。探索RestAI，开启您的AI之旅吧！