Lantern: 开源PostgreSQL矢量数据库扩展助力AI应用开发

lantern

Lantern简介

在人工智能和机器学习领域日新月异的今天,高效处理和检索大规模矢量数据的需求日益突出。Lantern应运而生,作为PostgreSQL的开源扩展,它为开发者提供了强大的工具来存储矢量数据、生成嵌入向量,并执行高效的矢量搜索操作。

Lantern的核心在于其为矢量列引入了一种新的索引类型——lantern_hnsw。这种索引类型显著提升了ORDER BY ... LIMIT查询的性能,为AI应用的开发带来了革命性的变化。Lantern的底层技术依托于usearch,这是一个单头文件的最先进HNSW(Hierarchical Navigable Small World)实现。

Lantern性能图表

快速安装与使用

对于那些还未安装PostgreSQL的用户,Lantern提供了一种便捷的方式通过Docker快速上手:

docker run --pull=always --rm -p 5432:5432 -e "POSTGRES_USER=$USER" -e "POSTGRES_PASSWORD=postgres" -v ./lantern_data:/var/lib/postgresql/data lanterndata/lantern:latest-pg15

运行上述命令后,用户可以通过postgresql://$USER:postgres@localhost/postgres连接到数据库。

对于已经安装了PostgreSQL的用户,Lantern提供了多种安装方式:

使用homebrew:

brew tap lanterndata/lantern brew install lantern && lantern_install


2. 从[预编译二进制文件](https://github.com/lanterndata/lantern/releases)安装,只需一个`make install`命令。

3. 从源代码构建(适用于特定硬件优化或需要可移植性的场景)。

安装完成后,使用Lantern非常直观:

1. 首先在SQL中启用Lantern扩展:
```sql
CREATE EXTENSION lantern;

创建包含矢量列的表并插入数据:

CREATE TABLE small_world (id integer, vector real[3]);
INSERT INTO small_world (id, vector) VALUES (0, '{0,0,0}'), (1, '{0,0,1}');

在表上创建lantern_hnsw索引:

CREATE INDEX ON small_world USING lantern_hnsw (vector dist_l2sq_ops)
WITH (M=2, ef_construction=10, ef=4, dim=3);

开始查询数据:

SET enable_seqscan = false;
SELECT id, l2sq_dist(vector, ARRAY[0,0,0]) AS dist
FROM small_world ORDER BY vector <-> ARRAY[0,0,0] LIMIT 1;

Lantern的核心特性

Lantern不仅仅是一个简单的数据库扩展,它为AI应用开发提供了一系列强大的功能:

嵌入向量生成: Lantern支持多种流行用例的嵌入生成,包括CLIP模型、Hugging Face模型以及自定义模型。这使得开发者可以直接在数据库层面处理复杂的AI任务。
与pgvector的互操作性: Lantern兼容pgvector的数据类型,这意味着现有的pgvector用户可以轻松迁移到Lantern,享受更优的性能。
并行索引创建: 通过外部索引器,Lantern支持并行创建索引,大大提高了大规模数据处理的效率。
灵活的索引生成: Lantern允许在数据库服务器外部生成索引图,这为大规模数据处理提供了更多的灵活性。
丰富的辅助函数: Lantern提供了一系列辅助函数,帮助开发者更好地实现他们的工作流程。

Lantern延迟性能

性能优势

Lantern在性能方面表现出色,尤其是在以下三个关键指标上:

CREATE INDEX时间
SELECT查询吞吐量
SELECT查询延迟

与pgvector和pg_embedding (Neon)相比,Lantern在这些指标上均表现出色或领先。Lantern团队承诺将继续优化性能,以确保它始终是性能最佳的数据库解决方案之一。

操作符和操作符类

Lantern支持多种距离函数,并提供了两种操作符模式:

lantern.pgvector_compat=TRUE(默认模式): 提供3个操作符 <-> (l2sq), <=> (cosine), <+> (hamming)。
lantern.pgvector_compat=FALSE: 只需在创建索引时指定列的距离函数,查询时统一使用 <?> 操作符。

此外,Lantern定义了多个操作符类,如dist_l2sq_ops, dist_vec_l2sq_ops, dist_cos_ops等,以适应不同的数据类型和距离计算需求。