Marqo学习资料汇总 - 统一向量搜索引擎与嵌入生成平台

Ray

Marqo简介

Marqo是一个统一的向量搜索引擎和嵌入生成平台。它不仅是一个向量数据库,更是一个端到端的向量搜索解决方案,可以处理文本和图像数据。Marqo通过单一API实现向量生成、存储和检索,无需用户自己提供嵌入。

Marqo Logo

为什么选择Marqo?

全面的功能:除了向量相似度搜索,Marqo还提供机器学习模型部署、输入预处理、搜索行为调整等功能。
易用性:开发者可以轻松地将向量搜索集成到应用中,无需大量工作。
灵活性:支持自定义模型和预配置模型,适应不同场景需求。

核心特性

🤖 先进的嵌入技术:支持PyTorch、Huggingface、OpenAI等最新机器学习模型
⚡ 高性能:使用内存HNSW索引,实现快速搜索
🌌 文档输入输出:提供开箱即用的向量生成、存储和检索功能
🍱 云管理:低延迟部署、可扩展性、高可用性、全天候支持

快速入门

安装Docker并确保至少8GB内存和50GB存储空间
运行Marqo容器:

docker rm -f marqo
docker pull marqoai/marqo:latest
docker run --name marqo -it -p 8882:8882 marqoai/marqo:latest

安装Marqo客户端
开始索引和搜索:

import marqo

mq = marqo.Client(url='http://localhost:8882')

mq.create_index("my-first-index", model="hf/e5-base-v2")

mq.index("my-first-index").add_documents([
    {
        "Title": "The Travels of Marco Polo",
        "Description": "A 13th-century travelogue describing Polo's travels"
    },
    {
        "Title": "Extravehicular Mobility Unit (EMU)",
        "Description": "The EMU is a spacesuit that provides environmental protection, "
                       "mobility, life support, and communications for astronauts",
        "_id": "article_591"
    }],
tensor_fields=["Description"]
)

results = mq.index("my-first-index").search(
    q="What is the best outfit to wear on the moon?"
)