fastembed-rs学习资料汇总 - Rust实现的高性能向量嵌入和重排序库

Ray

fastembed-rs

📚 fastembed-rs项目简介

fastembed-rs是一个用Rust实现的高性能向量嵌入和重排序库，它是fastembed项目的Rust版本。该库提供了以下主要特性:

支持同步使用，无需依赖Tokio
使用ort进行高效的ONNX推理
使用tokenizers进行快速编码
支持使用rayon进行并行批量嵌入生成
默认使用Flag Embedding模型，该模型在MTEB排行榜上表现优异

🔗 主要资源链接

GitHub仓库 - 项目源码和文档
Crates.io页面 - Rust包管理器中的fastembed-rs
API文档 - 详细的API参考文档

🚀 快速开始

要在你的Rust项目中使用fastembed-rs，只需在Cargo.toml中添加以下依赖:

[dependencies]
fastembed = "3"

然后可以参考以下示例代码生成文本嵌入:

use fastembed::{TextEmbedding, InitOptions, EmbeddingModel};

// 使用默认选项初始化
let model = TextEmbedding::try_new(Default::default())?;

let documents = vec![
    "Hello, World!".to_string(),
    "This is an example.".to_string(),
];

// 生成嵌入向量
let embeddings = model.embed(documents, None)?;

println!("Embeddings length: {}", embeddings.len());
println!("Embedding dimension: {}", embeddings[0].len());