NeumAI: 大规模向量嵌入管理的先进框架

NeumAI

NeumAI:为大规模AI应用提供强大的数据基础设施

在人工智能快速发展的今天,如何有效地利用海量数据来增强AI模型的能力,已经成为一个关键挑战。NeumAI应运而生,为开发者提供了一个强大的数据管理平台,专注于帮助开发者构建和同步大规模向量嵌入,为检索增强生成(RAG)技术提供坚实的数据基础。

什么是NeumAI?

NeumAI是一个先进的数据平台,旨在帮助开发者充分利用现有数据来为大型语言模型(LLM)提供上下文信息,从而实现高效的检索增强生成。它提供了一套完整的解决方案,可以从各种数据源中提取数据,将内容处理成向量嵌入,并将这些向量嵌入存储到向量数据库中,以便进行相似性搜索。

NeumAI Hero Image

NeumAI的核心优势在于它可以随着应用程序的规模扩展,同时大大减少了开发者在集成各种服务(如数据连接器、嵌入模型和向量数据库)上所需花费的时间。这使得开发者可以更专注于构建创新的AI应用,而不是被繁琐的数据处理工作所困扰。

NeumAI的主要特性

🏭 高吞吐量分布式架构: NeumAI能够处理数十亿数据点,支持高度并行化以优化嵌入生成和摄取过程。
🧱 内置数据连接器: 提供与常见数据源、嵌入服务和向量存储的连接器,方便快速集成。
🔄 实时数据同步: 确保您的数据始终保持最新状态,为AI应用提供实时、准确的信息。
♻ 可定制的数据预处理: 支持灵活的数据加载、分块和选择过程,以适应不同的应用场景。
🤝 全面的数据管理: 支持元数据的混合检索,NeumAI自动增强和跟踪元数据,提供丰富的检索体验。

如何开始使用NeumAI?

NeumAI提供了两种使用方式:云服务和本地开发。

NeumAI云服务

对于希望快速启动并利用NeumAI强大功能的用户,可以直接注册NeumAI云服务。云服务支持大规模、分布式架构,能够处理数百万文档的向量嵌入。

本地开发

对于希望在本地环境中开发和测试的用户,可以通过pip安装neumai包:

pip install neumai

安装完成后,您可以按照快速入门指南创建您的第一个数据管道。

创建和运行数据管道

NeumAI的核心概念是数据管道,它由一个或多个数据源、一个嵌入连接器和一个接收连接器组成。以下是一个简单的示例,展示如何创建和运行一个数据管道:

from neumai.DataConnectors.WebsiteConnector import WebsiteConnector
from neumai.Shared.Selector import Selector
from neumai.Loaders.HTMLLoader import HTMLLoader
from neumai.Chunkers.RecursiveChunker import RecursiveChunker
from neumai.Sources.SourceConnector import SourceConnector
from neumai.EmbedConnectors import OpenAIEmbed
from neumai.SinkConnectors import WeaviateSink
from neumai.Pipelines import Pipeline

# 设置数据源
website_connector = WebsiteConnector(
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale",
    selector = Selector(
        to_metadata=['url']
    )
)
source = SourceConnector(
    data_connector = website_connector, 
    loader = HTMLLoader(), 
    chunker = RecursiveChunker()
)

# 设置嵌入连接器
openai_embed = OpenAIEmbed(
    api_key = "<YOUR_OPENAI_API_KEY>",
)

# 设置接收连接器
weaviate_sink = WeaviateSink(
    url = "<YOUR_WEAVIATE_URL>",
    api_key = "<YOUR_WEAVIATE_API_KEY>",
    class_name = "<YOUR_CLASS_NAME>",
)

# 创建并运行管道
pipeline = Pipeline(
    sources=[source], 
    embed=openai_embed, 
    sink=weaviate_sink
)
pipeline.run()

# 使用管道进行搜索
results = pipeline.search(
    query="What are the challenges with scaling RAG?", 
    number_of_results=3
)

for result in results:
    print(result.metadata)

这个例子展示了如何从网页中提取数据,使用OpenAI的API生成嵌入,并将结果存储在Weaviate向量数据库中。最后,我们还演示了如何使用这个管道进行语义搜索。