NeumAI - 优化大规模检索增强生成的开发者数据平台

Neum AI 项目介绍

项目背景

Neum AI 是一个数据平台，旨在帮助开发者通过检索增强生成（RAG）来更好地利用大型语言模型。它让用户能够从现有的数据源中提取数据，将内容处理成向量嵌入，并将这些向量嵌入存储到向量数据库中以便进行相似性搜索。Neum AI 提供了一整套的 RAG 解决方案，能够与用户的应用相结合，不仅减少了整合集成服务（如数据连接器、嵌入模型和向量数据库）所花费的时间，还能随着应用的发展进行扩展。

核心功能

高吞吐量的分布式架构：能够处理数十亿的数据点，允许高度并行化以优化嵌入生成和数据摄取。
内置的数据连接器：支持常用的数据源、嵌入服务和向量存储。
实时同步：保证数据源始终保持最新状态。
可定制的数据预处理：支持数据的加载、分块和选择。
统一的数据管理：支持通过元数据的混合检索，Neum AI 自动增强并跟踪元数据，以提供丰富的检索体验。

联系方式

任何交流需求，可以通过邮件（founders@tryneum.com）、Discord 或预约电话会议与团队联系。

如何开始

Neum AI 云端

用户可以通过 dashboard.neum.ai 注册并使用快速入门指南开始入门。Neum AI Cloud 支持大规模分布式架构，能处理数百万份文件的向量嵌入。

本地开发

用户可以通过以下命令安装 neumai 软件包：

pip install neumai

创建数据管道需要包括一个或多个数据源，一个用于向量化内容的嵌入连接器，以及一个用于存储这些向量的接收连接器。

自我托管

如果希望在用户自己的云端部署 Neum AI，可以通过 founders@tryneum.com 与我们联系。我们在 GitHub 上提供了一个示例的后端架构，可以作为一个起点。

可用连接器

Neum AI 提供多种连接器：

数据源连接器：Postgres、Hosted Files、Websites、S3、Azure Blob、Sharepoint、Singlestore、Supabase Storage。
嵌入连接器：OpenAI 嵌入、Azure OpenAI 嵌入。
接收连接器：Supabase postgres、Weaviate、Qdrant、Pinecone、Singlestore。

路线图

Neum AI 的发展规划正在不断完善，并根据用户的需求实时更新。

Neum 工具

其他 Neum AI 工具可以通过 neumai-tools 找到，里面包含了在生成向量嵌入前用于加载和分块数据的预处理工具。

通过这些创新和技术支持，Neum AI 致力于优化数据管理流程，提高大型语言模型的应用效果，帮助开发者更高效地将数据转化为有用的信息。