sqlite-vss: SQLite的高效向量搜索扩展

sqlite-vss

sqlite-vss简介

sqlite-vss (SQLite Vector Similarity Search)是一个为SQLite带来向量搜索功能的扩展,基于Facebook的Faiss库开发。它可以让开发者在SQLite数据库中高效地存储和查询向量数据,从而实现语义搜索、推荐系统、问答工具等应用。

sqlite-vss的主要特点包括:

与SQLite无缝集成,使用简单
支持高维向量的存储和相似度搜索
兼容多种嵌入方式,可使用任何向量数据
提供Python、Node.js、Deno等多种语言的绑定
支持自定义Faiss索引配置,灵活性强
开源免费,可本地部署保护数据隐私

随着大语言模型和向量数据库的兴起,sqlite-vss为开发者提供了一种轻量级的向量搜索解决方案,特别适合中小规模数据集的应用场景。

安装和使用

sqlite-vss支持多种安装和使用方式:

1. 使用SQLite CLI

从GitHub Releases页面下载对应平台的vector0.dylib/vss0.dylib文件,然后在SQLite环境中加载:

.load ./vector0
.load ./vss0
select vss_version();

2. Python

使用pip安装:

pip install sqlite-vss

然后在Python代码中使用:

import sqlite3
import sqlite_vss

db = sqlite3.connect(':memory:')
db.enable_load_extension(True)
sqlite_vss.load(db)

version, = db.execute('select vss_version()').fetchone()
print(version)

3. Node.js

使用npm安装:

npm install sqlite-vss

在Node.js代码中使用:

import Database from "better-sqlite3";
import * as sqlite_vss from "sqlite-vss";

const db = new Database(":memory:");
sqlite_vss.load(db);

const version = db.prepare("select vss_version()").pluck().get();
console.log(version);

此外,sqlite-vss还支持Deno、Ruby、Elixir、Go、Rust等多种语言和平台。详细的安装和使用说明可以在项目的GitHub页面找到。

sqlite-vss支持多种语言

核心功能和用法

sqlite-vss的核心功能是创建虚拟表来存储和查询向量数据。以下是主要的使用步骤:

1. 创建虚拟表

使用vss0模块创建虚拟表:

create virtual table vss_articles using vss0(
  headline_embedding(384),
  description_embedding(384)
);

这里的384是向量维度,需要根据实际使用的嵌入模型调整。

2. 插入数据

可以使用JSON格式或原始字节插入向量数据:

insert into vss_articles(rowid, headline_embedding)
  select rowid, headline_embedding from articles;

3. 相似度搜索

使用vss_search函数进行k近邻(KNN)搜索:

select rowid, distance
from vss_articles
where vss_search(
  headline_embedding,
  (select headline_embedding from articles where rowid = 123)
)
limit 100;

这将返回与文章#123的标题最相似的100个向量。

4. 自定义Faiss索引

可以使用Faiss工厂字符串自定义索引类型:

create virtual table vss_ivf_articles using vss0(
  headline_embedding(384) factory="IVF4096,Flat,IDMap2",
  description_embedding(384) factory="IVF4096,Flat,IDMap2"
);

这里使用了倒排文件索引(IVF)来加速大规模数据集的查询。