Lantern: 开源PostgreSQL矢量数据库扩展助力AI应用开发

lantern

Lantern简介

在人工智能和机器学习领域日新月异的今天,高效处理和检索大规模矢量数据的需求日益突出。Lantern应运而生,作为PostgreSQL的开源扩展,它为开发者提供了强大的工具来存储矢量数据、生成嵌入向量,并执行高效的矢量搜索操作。

Lantern的核心在于其为矢量列引入了一种新的索引类型——lantern_hnsw。这种索引类型显著提升了ORDER BY ... LIMIT查询的性能,为AI应用的开发带来了革命性的变化。Lantern的底层技术依托于usearch,这是一个单头文件的最先进HNSW(Hierarchical Navigable Small World)实现。

Lantern性能图表

快速安装与使用

对于那些还未安装PostgreSQL的用户,Lantern提供了一种便捷的方式通过Docker快速上手:

docker run --pull=always --rm -p 5432:5432 -e "POSTGRES_USER=$USER" -e "POSTGRES_PASSWORD=postgres" -v ./lantern_data:/var/lib/postgresql/data lanterndata/lantern:latest-pg15

运行上述命令后,用户可以通过postgresql://$USER:postgres@localhost/postgres连接到数据库。

对于已经安装了PostgreSQL的用户,Lantern提供了多种安装方式:

使用homebrew:

brew tap lanterndata/lantern brew install lantern && lantern_install


2. 从[预编译二进制文件](https://github.com/lanterndata/lantern/releases)安装,只需一个`make install`命令。

3. 从源代码构建(适用于特定硬件优化或需要可移植性的场景)。

安装完成后,使用Lantern非常直观:

1. 首先在SQL中启用Lantern扩展:
```sql
CREATE EXTENSION lantern;

创建包含矢量列的表并插入数据:

CREATE TABLE small_world (id integer, vector real[3]);
INSERT INTO small_world (id, vector) VALUES (0, '{0,0,0}'), (1, '{0,0,1}');

在表上创建lantern_hnsw索引:

CREATE INDEX ON small_world USING lantern_hnsw (vector dist_l2sq_ops)
WITH (M=2, ef_construction=10, ef=4, dim=3);

开始查询数据:

SET enable_seqscan = false;
SELECT id, l2sq_dist(vector, ARRAY[0,0,0]) AS dist
FROM small_world ORDER BY vector <-> ARRAY[0,0,0] LIMIT 1;

Lantern的核心特性

Lantern不仅仅是一个简单的数据库扩展,它为AI应用开发提供了一系列强大的功能:

嵌入向量生成: Lantern支持多种流行用例的嵌入生成,包括CLIP模型、Hugging Face模型以及自定义模型。这使得开发者可以直接在数据库层面处理复杂的AI任务。
与pgvector的互操作性: Lantern兼容pgvector的数据类型,这意味着现有的pgvector用户可以轻松迁移到Lantern,享受更优的性能。
并行索引创建: 通过外部索引器,Lantern支持并行创建索引,大大提高了大规模数据处理的效率。
灵活的索引生成: Lantern允许在数据库服务器外部生成索引图,这为大规模数据处理提供了更多的灵活性。
丰富的辅助函数: Lantern提供了一系列辅助函数,帮助开发者更好地实现他们的工作流程。

Lantern延迟性能

性能优势

Lantern在性能方面表现出色,尤其是在以下三个关键指标上:

CREATE INDEX时间
SELECT查询吞吐量
SELECT查询延迟

与pgvector和pg_embedding (Neon)相比,Lantern在这些指标上均表现出色或领先。Lantern团队承诺将继续优化性能,以确保它始终是性能最佳的数据库解决方案之一。

操作符和操作符类

Lantern支持多种距离函数,并提供了两种操作符模式:

lantern.pgvector_compat=TRUE(默认模式): 提供3个操作符 <-> (l2sq), <=> (cosine), <+> (hamming)。
lantern.pgvector_compat=FALSE: 只需在创建索引时指定列的距离函数,查询时统一使用 <?> 操作符。

此外,Lantern定义了多个操作符类,如dist_l2sq_ops, dist_vec_l2sq_ops, dist_cos_ops等,以适应不同的数据类型和距离计算需求。

索引构建参数调优

Lantern的HNSW算法性能可通过M, ef和ef_construction参数进行调优:

较低的M和ef_construction值可加快索引创建速度,但可能降低召回率。
较低的M和ef值可提高搜索速度并减少共享缓冲区命中,但同样可能影响召回率。

开发者需要根据具体用例进行实验和调优,以找到最佳的参数配置。

Lantern的未来发展

Lantern团队有着雄心勃勃的发展计划,包括:

推出Lantern的云托管版本
开发针对特定CPU优化的硬件加速距离度量
为不同行业提供应用程序构建模板和指南
扩展嵌入向量生成工具
支持嵌入向量的版本控制和A/B测试
开发自动调优的索引类型
支持1字节和2字节的向量元素,以及最多8000维的向量

Lantern索引创建性能

结语

Lantern作为一个强大的PostgreSQL扩展,为AI应用开发者提供了高效处理和检索矢量数据的解决方案。它不仅提供了出色的性能,还具备丰富的功能和灵活的配置选项。随着AI技术的不断发展,Lantern将继续进化,为开发者提供更多创新功能和优化性能。

无论您是构建推荐系统、图像检索还是自然语言处理应用,Lantern都能为您的项目提供坚实的基础。我们鼓励开发者探索Lantern的潜力,并期待看到更多基于Lantern构建的创新AI应用。

如果您对Lantern感兴趣或需要支持,可以访问Lantern的GitHub仓库获取更多信息,或通过support@lantern.dev联系Lantern团队。让我们共同推动AI应用开发的边界,创造更多令人兴奋的可能性! 🚀✨