<SOURCE_TEXT>
将 AI 带入您最喜爱的数据库
什么是 Superduper?
Superduper(前身为 SuperDuperDB)是一个用于将 AI 模型和工作流程与主要数据库集成的 Python 框架。无需通过复杂的管道和专业的向量数据库迁移数据,即可实现定制的 AI 解决方案,包括托管您自己的模型、流式推理和可扩展的模型训练/微调。
只需一个命令,即可将现有数据库转变为 AI 开发和部署堆栈,从而简化您的 AI 工作流程,使其集中在一个环境中,而不是分散在多个系统和环境中:
db = superduper('mongodb|postgres|mysql|sqlite|duckdb|snowflake://<your-db-uri>')
在任何地方运行 Superduper,或联系我们,了解更多关于企业平台的信息,以大规模将您的应用程序投入生产。
主要特点
- 与现有数据基础设施集成 AI: 在一个环境中将任意 AI 模型和 API 与数据库集成,无需额外的预处理步骤、ETL 或样板代码。
- 通过变更数据捕获进行推理: 当新数据到达时,您的模型会自动并立即计算输出,使您的部署始终保持最新。
- 可扩展的模型托管: 托管您自己的 HuggingFace、PyTorch 和 scikit-learn 模型,保护您的数据。
- 可扩展的模型训练: 只需查询训练数据,即可在大规模、多样化的数据集上训练 AI 模型。通过内置计算优化,确保最佳性能。
- 模型链: 通过连接模型和 API,轻松设置复杂的工作流程,使它们以相互依赖和顺序的方式协同工作。
- 简单的 Python 接口: 用简单的 Python 命令代替成千上万行的胶水代码,同时可以深入到任何实现细节层,如模型的内部工作或训练细节。
- 以 Python 为核心: 利用 Python 生态系统中的任何函数、程序、脚本或算法来增强您的工作流程和应用程序。
- 处理复杂数据类型: 在数据库中直接处理图像、视频、音频,以及任何可以在 Python 中编码为
bytes
的类型。 - 特征存储: 将您的数据库变成一个集中式的存储库,用于存储和管理任意数据类型的 AI 模型的输入和输出,并使其以结构化格式和已知环境中可用。
- 向量搜索: 无需将数据复制和迁移到其他专业的向量数据库 - 将您现有的经过实战检验的数据库转变为一个全功能的多模态向量搜索数据库,包括使用首选模型和 API 轻松生成数据的向量嵌入和向量索引。
预览
浏览可重用代码片段,了解如何使用 Superduper 通过几行代码实现复杂的 AI 最终功能。
示例用例和应用程序(notebooks)
下面的 notebooks 是如何利用不同的框架、模型提供商、数据库、检索技术等的示例。要了解更多关于如何将 Superduper 与您的数据库结合使用的信息,请查看我们的文档。
目前支持的数据存储:
支持的数据库: MongoDB, MongoDB Atlas, Snowflake, PostgreSQL, MySQL, SQLite, DuckDB, Google BigQuery, Amazon S3, Microsoft SQL Server (MSSQL), ClickHouse, Oracle, Trino, PySpark, Pandas, Apache Druid, Apache Impala, Polars, Apache Arrow DataFusion,
支持的 AI 框架、模型和 API(即将支持更多):
使用简单的 Python 命令与以下工具集成并自托管您的模型(无论是开源、商业或自开发的): PyTorch, Scikit-learn, HuggingFace
预配置的 API 集成(即将支持更多):
通过 API 集成外部托管的模型,使其与您的其他模型协同工作或共同工作,只需一个简单的 Python 命令即可: OpenAI, Cohere, Anthropic, Jina AI
安装
# 选项 1. Superduper 库
适合构建新的 AI 应用程序。
pip install superduper-framework
# 选项 2. Superduper 容器
适合学习 Superduper 基本功能并测试笔记本。
docker pull superduperio/superduper
docker run -p 8888:8888 superduperio/superduper
# 选项 3. Superduper 测试环境
适合学习 Superduper 高级功能并测试完整的 AI 堆栈。
make build_sandbox
make testenv_init
社区与帮助
如果您有任何问题、意见或想法:
- 加入 我们的 Slack(期待在那儿见到您)。
- 在 我们的 GitHub 讨论区 中搜索,或 提出新问题。
- 在现有问题上 发表评论 或 创建新问题。
- 通过 此处 提供宝贵的反馈,帮助我们改进 Superduper!
- 给我们发送电子邮件:
gethelp@superduper.io
。 - 访问我们的 YouTube 频道。
- 关注我们在 Twitter(现为 X) 上的动态。
- 在 LinkedIn 上与我们联系。
- 欢迎直接联系维护者或社区志愿者!
贡献
有很多贡献方式,不仅限于编写代码。我们欢迎所有贡献形式,例如:
详情请参阅我们的 贡献指南。
贡献者
感谢这些杰出的人士:
许可证
Superduper 是开源的,旨在成为社区努力的结晶,这离不开您的支持和热情。 它根据 Apache 2.0 许可证条款发布。对该项目的任何贡献都将遵循相同的规定。
加入我们
我们正在寻找对我们试图解决的问题充满热情的好人全职加入我们。查看我们正在招聘的职位 这里! </SOURCE_TEXT>