LangChain与Supabase打造智能网站聊天机器人

Ray

langchain-supabase-website-chatbot

LangChain与Supabase的强强联手:打造智能网站聊天机器人

在人工智能和自然语言处理技术日新月异的今天,为网站添加智能交互功能已经成为提升用户体验的重要手段。本文将为您详细介绍如何利用LangChain和Supabase这两个强大的工具,构建一个功能丰富、反应迅速的网站聊天机器人。

LangChain与Supabase简介

LangChain是一个用于构建基于大型语言模型(LLM)应用的框架,它提供了一系列工具和接口,使开发者能够更容易地创建复杂的AI应用。而Supabase则是一个开源的Firebase替代品,提供了强大的数据库和后端服务。

这两个工具的结合为我们提供了一个理想的解决方案:LangChain负责处理自然语言交互和AI逻辑,而Supabase则为我们提供了可靠的数据存储和检索能力。

项目概述

本项目旨在创建一个能够回答网站相关问题的聊天机器人。它将使用LangChain来处理用户输入,利用OpenAI的语言模型生成回答,并使用Supabase存储和检索相关的网页内容。

项目的主要特点包括:

使用Next.js作为前端框架
利用LangChain处理自然语言查询
使用Supabase存储网页内容的向量嵌入
支持多个网页的内容抓取和索引
实现相似性搜索以找到最相关的回答

LangChain-Supabase架构图

开发环境搭建

首先,我们需要克隆项目仓库并安装必要的依赖:

git clone https://github.com/mayooear/langchain-supabase-website-chatbot.git
cd langchain-supabase-website-chatbot
pnpm install

接下来,我们需要设置环境变量。复制.env.local.example文件并重命名为.env,然后填入必要的API密钥:

OPENAI_API_KEY=your_openai_api_key
NEXT_PUBLIC_SUPABASE_URL=your_supabase_project_url
NEXT_PUBLIC_SUPABASE_ANON_KEY=your_supabase_anon_key
SUPABASE_SERVICE_ROLE_KEY=your_supabase_service_role_key

网页内容抓取与嵌入

本项目使用自定义的网页加载器来抓取指定网页的内容。在utils/custom_web_loader.ts文件中,您可以根据需要修改抓取逻辑:

async load(): Promise<Document[]>{
  const $ = await this.scrape();
  const text = $("body").text();
  const metadata = { source: this.webPath };
  return [new Document({ pageContent: text, metadata })];
}

抓取完成后,我们使用OpenAI的文本嵌入模型将文本转换为向量。这些向量随后被存储在Supabase数据库中,以便进行快速的相似性搜索。

Supabase数据库设置

在Supabase中,我们需要创建一个用于存储文档向量的表。运行schema.sql文件中的SQL命令来设置必要的表结构和函数:

create table documents (
  id bigserial primary key,
  content text,
  metadata jsonb,
  embedding vector(1536)
);

create function match_documents (
  query_embedding vector(1536),
  match_count int
)
returns table (
  id bigint,
  content text,
  metadata jsonb,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    id,
    content,
    metadata,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  order by documents.embedding <=> query_embedding
  limit match_count;
end;
$$;

这个设置允许我们存储文档内容、元数据和嵌入向量,并提供了一个用于相似性搜索的函数。

构建聊天机器人逻辑

聊天机器人的核心逻辑在pages/api/chat.ts文件中实现。这里我们使用LangChain的各种组件来处理用户输入,搜索相关内容,并生成回答:

const chain = ChatVectorDBQAChain.fromLLM(model, vectorstore);
const response = await chain.call({
  question: sanitizedQuestion,
  chat_history: formattedPreviousMessages,
});

这个链式结构允许我们将用户的问题与之前的对话历史结合起来,在向量数据库中搜索相关信息,然后使用语言模型生成最终的回答。