Korvus 学习资料汇总 - 统一RAG流程的PostgreSQL搜索SDK

Ray

korvus

Korvus简介

Korvus是一个基于PostgreSQL的开源搜索SDK，它能够在单个数据库查询中统一整个RAG(检索增强生成)流程。Korvus结合了LLM、向量内存、嵌入生成、重排序、摘要和自定义模型等功能，极大地提高了性能并简化了搜索架构。

Korvus演示

官方资源

GitHub仓库：Korvus的源代码和详细文档
官方文档：全面的API参考、教程和最佳实践
博客：了解Korvus的最新动态和使用技巧

入门指南

安装Korvus：
- Python: pip install korvus
- JavaScript: npm install korvus
- Rust: 在Cargo.toml中添加 korvus = "*"
准备PostgreSQL数据库：
- 自托管：按照自托管指南设置
- 云服务：注册PostgresML Cloud
初始化Collection和Pipeline：

from korvus import Collection, Pipeline
import asyncio

collection = Collection("korvus-demo-v0")
pipeline = Pipeline(
    "v1",
    {
        "text": {
            "splitter": {"model": "recursive_character"},
            "semantic_search": {"model": "Alibaba-NLP/gte-base-en-v1.5"},
        }
    },
)

async def add_pipeline():
    await collection.add_pipeline(pipeline)

asyncio.run(add_pipeline())

插入文档并执行RAG查询：

async def rag():
    query = "Is Korvus fast?"
    results = await collection.rag(
        {
            "CONTEXT": {
                "vector_search": {
                    "query": {
                        "fields": {"text": {"query": query}},
                    },
                    "document": {"keys": ["id"]},
                    "limit": 1,
                },
                "aggregate": {"join": "\n"},
            },
            "chat": {
                "model": "meta-llama/Meta-Llama-3-8B-Instruct",
                "messages": [
                    {
                        "role": "system",
                        "content": "You are a friendly and helpful chatbot",
                    },
                    {
                        "role": "user",
                        "content": f"Given the context\n:{{CONTEXT}}\nAnswer the question: {query}",
                    },
                ],
                "max_tokens": 100,
            },
        },
        pipeline,
    )
    print(results)

asyncio.run(rag())