Knowhere: 开源向量搜索引擎的新星

随着人工智能和机器学习技术的快速发展，向量搜索在各种应用场景中扮演着越来越重要的角色。Knowhere作为一个新兴的开源向量搜索引擎，正在吸引越来越多开发者和研究人员的关注。本文将深入探讨Knowhere的特性、架构、使用方法以及如何参与贡献这个令人兴奋的项目。

Knowhere简介

Knowhere是一个用C++编写的独立项目，作为Milvus向量数据库的内部核心组件。它集成了多种先进的向量索引和搜索算法，如FAISS(Facebook AI Similarity Search)和HNSW(Hierarchical Navigable Small World)等，为高维向量的高效相似性搜索提供了强大支持。

Knowhere Logo

Knowhere的主要目标是为开发者提供一个灵活、高效且易于使用的向量搜索解决方案。无论是在学术研究还是工业应用中，Knowhere都能够满足各种复杂的向量搜索需求。

Knowhere的核心特性

多算法支持: Knowhere集成了多种先进的向量索引算法，包括FAISS、HNSW等，使用户可以根据具体需求选择最合适的算法。
高性能: 通过C++实现和优化，Knowhere能够提供卓越的搜索性能，特别适合处理大规模高维向量数据。
跨平台兼容: Knowhere支持多种操作系统，包括Ubuntu、CentOS和MacOS（包括x86_64和Apple Silicon架构）。
可扩展性: 作为一个开源项目，Knowhere具有良好的可扩展性，允许开发者根据需求进行定制和扩展。
与Milvus集成: 作为Milvus的核心组件，Knowhere能够无缝集成到Milvus生态系统中，为用户提供端到端的向量数据库解决方案。

Knowhere的架构设计

Knowhere的架构设计注重模块化和灵活性。它主要包含以下几个核心组件：

索引模块: 负责构建和管理各种类型的向量索引，如FAISS、HNSW等。
搜索模块: 实现高效的向量相似性搜索算法。
存储模块: 管理向量数据的存储和检索。
公共工具: 提供各种辅助功能，如数据预处理、距离计算等。
API接口: 提供C++和Python接口，方便开发者集成和使用。

这种模块化的设计使得Knowhere能够灵活地适应不同的应用场景，同时也便于开发者进行扩展和定制。

如何使用Knowhere

系统要求

Knowhere支持多种Linux发行版和MacOS。以下是经过验证可以成功构建和运行Knowhere的操作系统列表：

Ubuntu 20.04 x86_64
Ubuntu 20.04 Aarch64
MacOS (x86_64)
MacOS (Apple Silicon)

从源码构建Knowhere

要从源码构建Knowhere，请按照以下步骤操作：

安装依赖：

sudo apt install build-essential libopenblas-dev libaio-dev python3-dev python3-pip
pip3 install conan==1.61.0 --user
export PATH=$PATH:$HOME/.local/bin

git clone https://github.com/zilliztech/knowhere.git
cd knowhere

mkdir build && cd build

使用Conan安装依赖并构建：

# 添加Conan远程仓库
conan remote add default-conan-local https://milvus01.jfrog.io/artifactory/api/conan/default-conan-local

# 安装依赖（根据需求选择CPU或GPU版本，Debug或Release模式）
conan install .. --build=missing -o with_ut=True -s compiler.libcxx=libstdc++11 -s build_type=Release

# 使用Conan构建
conan build ..

运行单元测试（可选）：

# Release模式
./Release/tests/ut/knowhere_tests

使用Python接口

Knowhere还提供了Python接口，使得在Python环境中使用Knowhere变得更加便捷。以下是生成和安装Python wheel的步骤：

安装额外依赖：

sudo apt install swig python3-dev
pip3 install bfloat16

构建Python wheel：

cd python
python3 setup.py bdist_wheel

安装生成的wheel文件：

pip3 install dist/pyknowhere-0.0.0-cp38-cp38-linux_x86_64.whl

通过这些步骤，您就可以在Python环境中导入和使用Knowhere了。

参与Knowhere开发

Knowhere是一个开源项目，欢迎社区成员参与贡献。以下是一些参与方式：

提交Issue: 如果您发现了bug或有新的功能建议，可以在GitHub仓库中提交Issue。
提交Pull Request: 如果您想直接贡献代码，可以fork仓库，修改代码后提交Pull Request。
改进文档: 完善文档对于开源项目的发展至关重要。您可以帮助改进Knowhere的文档。
参与讨论: 在GitHub Discussions或其他社区渠道参与技术讨论，分享您的见解和经验。

代码规范

为了确保代码质量和一致性，Knowhere项目使用了pre-commit钩子来进行代码检查。在提交Pull Request之前，请确保运行以下命令安装和配置pre-commit：

pip3 install pre-commit
pre-commit install --hook-type pre-commit --hook-type pre-push

此外，还需要安装clang-format和clang-tidy工具：

# Ubuntu
apt install clang-format clang-tidy

# MacOS
brew install llvm
ln -s "$(brew --prefix llvm)/bin/clang-format" "/usr/local/bin/clang-format"
ln -s "$(brew --prefix llvm)/bin/clang-tidy" "/usr/local/bin/clang-tidy"