Github
Huggingface
文档
论文快速向量相似性库介绍
简介
快速向量相似性库是一个高性能的工具，用于高效地计算向量之间的相似度度量。这个库使用 Rust 编写，特别适合数据分析、机器学习和统计任务中需要比较向量的场景。该库提供了多种先进的相似性度量，经过性能优化，还集成了 Python 绑定，可以与 Python 工作流无缝对接。
功能特点
相似度度量
该库实现了一系列经典和现代的相似度度量，包括：
- 斯皮尔曼等级相关系数 (
spearman_rho) - 肯德尔秩相关系数 (
kendall_tau)（针对大数据集进行了计算速度优化） - 近似距离相关 (
approximate_distance_correlation)（向量化以提高速度和准确性） - Jensen-Shannon 依赖性度量 (
jensen_shannon_dependency_measure)（经过修改以提高依赖性测量的实用性） - 霍夫丁的 D 度量 (
hoeffding_d) - 归一化互信息 (
normalized_mutual_information)（新引入用于分析变量依赖性）
引导技术
该库包含强大的引导功能，用于估计相似度度量的分布。引导通过多次随机重采样数据集，提高了结果的置信度。
性能优化
为实现最佳效率，引入了多项改进：
- 并行处理：采用
rayon包进行并行计算，以确保操作的可扩展性与 CPU 内核数量一致。 - 高效算法：使用归并排序算法进行转换计数，提高了如肯德尔秩相关系数等度量的速度。
- 向量化操作：许多函数利用
ndarray包进行向量化操作，在 Rust 中最大化性能。
基准测试和验证
该库现在包括一个基准测试套件，用于验证数值结果的正确性，同时测量最近改进带来的性能提升，从而确保计算速度的变化不会影响准确性（除非像 Jensen-Shannon 度量那样的有意更改）。
Python 绑定
通过绑定可以在 Python 中无缝集成核心功能。该库为 Python 用户提供了两个关键功能：
py_compute_vector_similarity_stats：用于计算各种向量相似度量。py_compute_bootstrapped_similarity_stats：用于基于引导的相似性计算。
这两个功能都以 JSON 格式返回结果，使其在 Python 环境中易于使用。
安装
Rust
在 Rust 项目中，可以通过在 Cargo.toml 文件中引入该库来进行安装。
Python
可以直接从 PyPI 安装 Python 绑定：
pip install fast_vector_similarity
使用大型语言模型的文本嵌入向量
该库与 Llama2 等现代语言模型高度兼容，能够轻松分析文本嵌入。它可以与 Llama2 Embeddings FastAPI Service 的输出集成，处理高维嵌入（如 4096 维向量）。
示例工作流
- 将嵌入加载到数据帧中：将 JSON 格式的文本嵌入转换为 Pandas 数据帧。
- 计算相似性：使用快速向量相似性库计算嵌入之间的相似度量，利用优化的函数。
- 分析结果：根据 Hoeffding 的 D 等度量生成相似度最高向量的排名列表。
示例 Python 代码
以下是一个示例 Python 代码片段，展示了如何使用该库来处理大型嵌入向量：
# 请参见项目文档中的完整代码示例
用法
在 Rust 中
可以直接在 Rust 项目中使用核心功能。例如，使用 compute_vector_similarity_stats 或 compute_bootstrapped_similarity_stats 及其参数以进行高效的计算。
在 Python 中
安装 Python 包并使用所提供的功能来计算向量相似度或执行基于引导的分析，如上例所示。
详细相似度量概述
斯皮尔曼等级相关系数 (spearman_rho)
斯皮尔曼等级相关系数是一种非参数度量，衡量两个变量之间单调关系的强弱和方向。不同于测量线性关系的 Pearson 相关，斯皮尔曼相关可以捕捉非线性单调关系。这使得它在诸多实际应用中有用，如当变量存在复杂关系但仍遵循一致方向趋势时。
肯德尔秩相关系数 (kendall_tau)
肯德尔秩相关系数是一个基于等级的度量，通过比较数据点的相对顺序来评估两个变量之间的序关系强度。其解释为关联是否是一致的概率。
近似距离相关 (approximate_distance_correlation)
距离相关是一种强大的度量，可以检测变量间的线性和非线性依赖性。其基本性质是距离相关只有在变量独立时为零，这是传统相关度量如 Pearson 的或斯皮尔曼的所不具备的特性。
注意事项
无论您处于什么技术水平，快速向量相似性库都能帮助您高效实现向量比较任务，加速数据分析和机器学习项目。通过引入多种优化措施和无缝的 Python 集成，该库为复杂的数据处理任务提供了强大的支持。
