chatgpt-pgvector - 强化领域特化知识应用的AI聊天工具

ChatGPT-pgvector 项目介绍

ChatGPT 是一个非常出色的通用型聊天人工智能，但是在需要专业领域知识时，往往显得能力不足。它有时会为了弥补知识空缺而编造一些答案，并且不提供信息的来源，这使得它在特定问题上不那么可靠。为了改善这一问题，chatgpt-pgvector 项目应运而生。它通过结合向量搜索，展示了如何利用 OpenAI 的聊天完成 API 创建与领域知识相关的对话界面。

项目背景

在文本处理中，嵌入（embeddings）是表示文本字符串“相关性”的一种方式。通过浮点数向量表示，嵌入可以用于搜索结果排序、聚类和分类等。文本嵌入的相关性通过余弦相似度来度量，当两个向量之间的余弦相似度接近于 1 时，则表示这两个向量高度相似，也即这两段文本非常相关。

这个初始应用程序使用嵌入生成文档的向量表示，并利用向量搜索来找到与查询最相似的文档，从而编制提示并将响应结果流式传输给用户。

项目技术栈

Next.js：一个用于构建 React 应用的框架。
Vercel：应用托管平台。
Supabase：作为向量数据库存储实现的 pgvector。
OpenAI API：用于生成嵌入和聊天完成。
TailwindCSS：用于设计和样式。

功能概述

创建和存储嵌入

网络页面被抓取并处理为纯文本，然后分割为1000字符的文档。
每个文档通过 OpenAI 的嵌入 API 使用 "text-embedding-ada-002" 模型生成嵌入。
生成的嵌入存储在使用 pgvector 的 Supabase Postgres 表中，该表包含文档文本、源 URL 和来自 OpenAI API 的嵌入向量。

响应查询

从用户输入中生成一个嵌入。
使用该嵌入进行相似度搜索，从向量数据库中找到最相关的结果。
利用相似度搜索的结果构建 GPT-3.5/GPT-4 的提示。
最终将 GPT 响应结果流式传递给用户。

开始使用

以下步骤指南假定用户至少具备基本的 React 和 Next.js 应用开发知识。如果对 OpenAI 和 Supabase 也有一定了解，将更容易上手。

设置 Supabase

创建 Supabase 账号并在 Supabase 上创建项目。
启用向量扩展，在 Supabase 网站通过 Database → Extensions 开启此功能，或者在 SQL 中运行 create extension vector;。

创建存储文档及其嵌入的表，使用以下 SQL 语句：

create table documents (
  id bigserial primary key,
  content text,
  url text,
  embedding vector (1536)
);

创建用于执行相似度搜索的函数，使用以下 SQL 语句：

create or replace function match_documents (
  query_embedding vector(1536),
  similarity_threshold float,
  match_count int
)
returns table (
  id bigint,
  content text,
  url text,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    documents.id,
    documents.content,
    documents.url,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  where 1 - (documents.embedding <=> query_embedding) > similarity_threshold
  order by documents.embedding <=> query_embedding
  limit match_count;
end;
$$;

设置本地环境

克隆仓库：

gh repo clone gannonh/chatgpt-pgvector
cd chatgpt-pgvector

在喜欢的编辑器中打开项目（假设使用 VS Code）：
```
code .
```
安装依赖：
```
npm install
```
创建 .env.local 文件以存储环境变量：
```
cp .env.local.example .env.local
```
在 .env.local 文件中添加 Supabase 项目 URL 和 API 密钥，可在 Supabase 网站的 Project → API 中找到。这些信息应分别存储于 NEXT_PUBLIC_SUPABASE_URL 和 SUPABASE_ANON_KEY 变量中。
添加你的 OpenAI API 密钥，同样通过 OpenAI 网站获取并存储于 OPENAI_API_KEY 中。
[可选] 设置 OPEAI_PROXY 环境变量提供自定义的 OpenAI API 代理，留空则直接调用官方 API。
[可选] 设置 SPLASH_URL 环境变量配置 Splash (一个 JavaScript 渲染服务) API，留空则直接抓取 URL。
启动应用：
```
npm run dev
```
打开浏览器访问 http://localhost:3000 查看应用。

通过这一步步地设置，用户即可使用 chatgpt-pgvector 项目来在特定领域中更好的展开对话。该项目利用向量搜索技术使得领域特定的信息查询变得更为精准和可靠。