EmbedAnything: 高性能、轻量级的多模态嵌入解决方案

EmbedAnything

EmbedAnything: 革新性的嵌入技术

在人工智能和机器学习领域，嵌入技术扮演着至关重要的角色。它能将复杂的数据转化为计算机可以理解和处理的数值向量。然而，传统的嵌入方法往往面临着性能、资源消耗和多模态处理等诸多挑战。为了解决这些问题，EmbedAnything应运而生，为开发者和研究人员提供了一个强大而灵活的嵌入解决方案。

什么是EmbedAnything?

EmbedAnything是一个用Rust语言构建的高性能、轻量级、快速、多源、多模态的本地嵌入管道。它的设计理念是简约而高效，能够处理各种类型的数据，包括文本、图像、音频、PDF和网页等。EmbedAnything的核心优势在于其能够简化从不同来源生成嵌入并将其流式传输到向量数据库的过程。

EmbedAnything Logo

EmbedAnything的关键特性

本地嵌入: EmbedAnything支持使用本地嵌入模型，如BERT和JINA，这为那些需要在本地环境中处理敏感数据的用户提供了便利。
云端嵌入模型: 除了本地模型，EmbedAnything还支持OpenAI等云端嵌入模型，并计划在未来支持Mistral和Cohere等更多模型。
多模态处理: EmbedAnything能够处理多种数据类型，包括PDF、txt、md等文本文件，以及JPG等图像文件和WAV音频文件。
Rust语言优势: 所有文件处理都在Rust中完成，这保证了高效的性能和资源利用。
Candle加速: EmbedAnything利用Candle库实现了硬件加速，进一步提升了处理速度。
Python接口: 作为Python库打包，可以无缝集成到现有的Python项目中。
可扩展性: 支持将嵌入存储在向量数据库中，便于检索和扩展。
向量流式处理: 可以连续创建和流式传输嵌入，适合资源受限的环境。

向量流式处理的创新

EmbedAnything引入了向量流式处理的概念，这是一项非常有价值的创新。它允许用户处理和生成文件的嵌入，并以流式方式传输。例如，对于10GB的文件，它可以连续地逐文件（或在未来逐块）生成嵌入，并将其存储在选择的向量数据库中。这种方法有效地消除了一次性在RAM中存储大量嵌入的需求，大大降低了内存使用压力。

为什么选择EmbedAnything?

更快的执行速度: Rust语言的高性能特性确保了EmbedAnything能够快速处理大量数据。
内存管理: Rust的内存管理机制可以有效防止内存泄漏和崩溃，这是其他语言常见的问题。
真正的多线程: EmbedAnything充分利用了Rust的多线程能力，提高了并行处理能力。
本地高效运行: 能够在本地高效运行语言模型或嵌入模型，减少对云服务的依赖。
GPU加速: 通过Candle，EmbedAnything可以直接在支持CUDA的GPU上进行推理，无需额外配置。
降低内存使用: EmbedAnything的设计着重于减少内存使用，使其更适合在资源受限的环境中运行。

支持的模型

EmbedAnything支持多种模型，包括但不限于：

Jina模型：如jinaai/jina-embeddings-v2-base-en和jinaai/jina-embeddings-v2-small-en
BERT模型：如sentence-transformers/all-MiniLM-L6-v2和sentence-transformers/all-MiniLM-L12-v2
CLIP模型：如openai/clip-vit-base-patch32
Whisper模型：支持大多数来自huggingface的OpenAI Whisper模型

用户还可以根据具体需求添加自定义模型和设置块大小，这为不同应用场景提供了极大的灵活性。

使用EmbedAnything

安装EmbedAnything非常简单，只需通过pip进行安装：

pip install embed-anything

使用示例：

本地嵌入（支持Bert和Jina）：

import embed_anything
data = embed_anything.embed_file("file_path.pdf", embeder= "Bert")
embeddings = np.array([data.embedding for data in data])

多模态嵌入（支持CLIP）：

import embed_anything
data = embed_anything.embed_directory("directory_path", embeder= "Clip")
embeddings = np.array([data.embedding for data in data])

query = ["photo of a dog"]
query_embedding = np.array(embed_anything.embed_query(query, embeder= "Clip")[0].embedding)
similarities = np.dot(embeddings, query_embedding)
max_index = np.argmax(similarities)
Image.open(data[max_index].text).show()

音频嵌入（使用Whisper）：

import embed_anything
from embed_anything import JinaConfig, EmbedConfig, AudioDecoderConfig
import time

start_time = time.time()

audio_decoder_config = AudioDecoderConfig(
    decoder_model_id="openai/whisper-tiny.en",
    decoder_revision="main",
    model_type="tiny-en",
    quantized=False,
)
jina_config = JinaConfig(
    model_id="jinaai/jina-embeddings-v2-small-en", revision="main", chunk_size=100
)

config = EmbedConfig(jina=jina_config, audio_decoder=audio_decoder_config)
data = embed_anything.embed_file(
    "test_files/audio/samples_hp0.wav", embeder="Audio", config=config
)
print(data[0].metadata)
end_time = time.time()
print("Time taken: ", end_time - start_time)