Chromem-go: 突破性的Go语言嵌入式向量数据库

chromem-go

Chromem-go: Go语言的嵌入式向量数据库革新

在人工智能和机器学习快速发展的今天，向量数据库作为一种新兴的数据存储和检索技术，正在各个领域发挥着越来越重要的作用。然而，对于Go语言开发者来说，一直缺乏一个简单易用、性能优异的嵌入式向量数据库解决方案。直到Chromem-go的出现，这一状况得到了根本性的改变。

Chromem-go简介

Chromem-go是一个专为Go语言设计的嵌入式向量数据库，它具有类似Chroma的接口，同时不依赖任何第三方库。这个项目由GitHub用户philippgille创建，旨在为Go开发者提供一个简单、高效、易于集成的向量数据库解决方案。

Chromem-go Logo

Chromem-go的核心特点包括：

嵌入式设计：无需运行单独的数据库服务，可直接嵌入到Go应用程序中。
零依赖：不依赖任何第三方库，减少了潜在的兼容性问题和安全风险。
内存存储：默认使用内存存储，确保高速的数据访问和处理。
可选持久化：提供可选的持久化功能，满足数据持久性需求。
多线程处理：利用Go的并发特性，在添加和查询文档时实现多线程处理。
兼容多种嵌入模型：支持OpenAI、Azure OpenAI、GCP Vertex AI、Cohere等多种嵌入模型。

使用场景

Chromem-go的设计理念是为常见的使用场景提供简单而高效的解决方案。它特别适用于以下场景：

检索增强生成(RAG)：通过向量数据库存储和检索相关信息，增强大语言模型的回答质量。
问答系统：快速检索相似问题和答案，提高问答系统的响应速度和准确性。
文本和代码搜索：实现基于语义的高效文本和代码搜索功能。
推荐系统：基于向量相似度，构建个性化推荐系统。
分类和聚类：利用向量表示进行文本分类和聚类分析。

核心功能

Chromem-go提供了一系列强大的功能，使其成为Go语言生态系统中独特的解决方案：

嵌入创建器：支持多种嵌入模型，包括OpenAI、Azure OpenAI、GCP Vertex AI、Cohere、Mistral、Jina等。还支持本地模型如Ollama和LocalAI。
相似度搜索：使用余弦相似度进行穷举最近邻搜索，也称为精确搜索或暴力搜索。
过滤器：支持文档过滤（$contains、$not_contains）和元数据过滤（精确匹配）。
存储选项：
- 内存存储
- 可选的即时持久化（使用gob编码，可选gzip压缩）
- 备份功能：支持整个数据库的导出和导入（gob编码，可选gzip压缩和AES-GCM加密）
数据类型：目前主要支持文本文档，未来计划支持图像和视频。

性能表现

Chromem-go在性能方面表现出色。根据官方提供的基准测试结果，在一台中端2020年Intel笔记本CPU上：

查询1,000个文档仅需0.3毫秒
查询100,000个文档仅需40毫秒

这种优异的性能使得Chromem-go能够满足大多数中小规模应用的需求，同时保持极低的内存分配和使用。

Chromem-go Benchmarks

快速开始

使用Chromem-go非常简单。以下是一个基本的使用示例：

package main

import (
 "context"
 "fmt"
 "runtime"

 "github.com/philippgille/chromem-go"
)

func main() {
  ctx := context.Background()

  db := chromem.NewDB()

  c, err := db.CreateCollection("knowledge-base", nil, nil)
  if err != nil {
    panic(err)
  }

  err = c.AddDocuments(ctx, []chromem.Document{
    {
      ID:      "1",
      Content: "The sky is blue because of Rayleigh scattering.",
    },
    {
      ID:      "2",
      Content: "Leaves are green because chlorophyll absorbs red and blue light.",
    },
  }, runtime.NumCPU())
  if err != nil {
    panic(err)
  }

  res, err := c.Query(ctx, "Why is the sky blue?", 1, nil, nil)
  if err != nil {
    panic(err)
  }

  fmt.Printf("ID: %v\nSimilarity: %v\nContent: %v\n", res[0].ID, res[0].Similarity, res[0].Content)
}

这个简单的例子展示了如何创建一个数据库、添加文档、并进行查询。输出结果将显示最相关的文档及其相似度分数。

未来发展

Chromem-go的开发团队有着雄心勃勃的计划，包括：

性能优化：使用SIMD指令集加速点积计算，引入roaring bitmaps加速全文过滤。
新增嵌入创建器：计划添加支持llamafile的EmbeddingFunc。
改进相似度搜索：引入近似最近邻搜索（ANN），如HNSW和IVFFlat算法。
增强过滤功能：添加更多运算符（如$and、$or等）。
扩展存储选项：支持JSON作为第二种编码格式，引入预写日志（WAL）作为第二种文件格式，考虑支持远程存储（如S3、PostgreSQL等）。
拓展数据类型：计划支持图像和视频数据。

总结

Chromem-go为Go语言开发者带来了一个强大而灵活的嵌入式向量数据库解决方案。它的出现填补了Go生态系统中的一个重要空白，使得在Go应用中实现高效的语义搜索、推荐系统和RAG等功能变得更加简单。

对于那些正在寻找轻量级、高性能向量数据库解决方案的Go开发者来说，Chromem-go无疑是一个值得关注和尝试的项目。随着项目的不断发展和完善，我们可以期待看到更多基于Chromem-go构建的创新应用和服务。

如果你对Chromem-go感兴趣，可以访问其GitHub仓库了解更多信息，或者通过go get github.com/philippgille/chromem-go@latest命令将其添加到你的Go项目中。让我们一起期待Chromem-go在Go语言生态系统中带来的更多可能性！